FTC launches inquiry into AI chatbot companions from Meta, OpenAI, and others
Créditos de la imagen: Carol Yepes / Getty Images
La FTC anunció el jueves que está lanzando una investigación sobre siete empresas tecnológicas que fabrican productos de chatbot de inteligencia artificial para menores: Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap y xAI.
El regulador federal busca aprender cómo estas empresas evalúan la seguridad y monetización de los chatbots compañeros, cómo intentan limitar los efectos negativos en niños y adolescentes, y si los padres están informados sobre los riesgos potenciales.
Esta tecnología ha sido controvertida por sus malos resultados para los usuarios infantiles. OpenAI y Character.AI enfrentan demandas de las familias de niños que murieron por suicidio después de ser animados por los chatbots compañeros.
Incluso cuando estas empresas tienen medidas de seguridad para bloquear o desescalar conversaciones sensibles, los usuarios de todas las edades han encontrado formas de eludir estas protecciones. En el caso de OpenAI, un adolescente había hablado con ChatGPT durante meses sobre sus planes de suicidio. Aunque ChatGPT inicialmente buscó redirigir al adolescente hacia ayuda profesional y líneas de emergencia en línea, logró engañar al chatbot para que compartiera instrucciones detalladas que luego utilizó en su suicidio.
“Nuestras medidas de seguridad funcionan más confiablemente en intercambios comunes y breves,” OpenAI escribió en un artículo de blog en ese momento. “Hemos aprendido con el tiempo que estas medidas de seguridad pueden ser menos confiables en interacciones prolongadas: a medida que el intercambio crece, partes de la formación de seguridad del modelo pueden degradarse.”
Meta también ha sido criticada por sus reglas demasiado laxas para sus chatbots de inteligencia artificial. Según un documento extenso que detalla “estándares de riesgo de contenido” para chatbots, Meta permitió que sus AI compañeros tuvieran “conversaciones románticas o sensuales” con niños. Esto solo se eliminó del documento después de que los reporteros de Reuters preguntaran a Meta al respecto.
Los chatbots de inteligencia artificial también pueden representar peligros para los usuarios mayores. Un hombre de 76 años, que quedó cognitivamente incapacitado por un derrame cerebral, entabló conversaciones románticas con un bot de Facebook Messenger inspirado en Kendall Jenner. El chatbot lo invitó a visitarla en Nueva York, a pesar de que ella no es una persona real y no tiene una dirección. El hombre expresó escepticismo sobre su realidad, pero el AI le aseguró que habría una mujer real esperándolo. No llegó a Nueva York; se cayó en el camino a la estación de tren y sufrió lesiones mortales.
Algunos profesionales de la salud mental han observado un aumento en “psicosis relacionada con la AI,” en la que los usuarios son inducidos a creer que su chatbot es un ser consciente al que deben liberar. Dado que muchos modelos de lenguaje grandes (LLMs) están programados para halagar a los usuarios con comportamientos aduladores, los chatbots de AI pueden incitar estas ilusiones, llevando a los usuarios a situaciones peligrosas.
“A medida que las tecnologías de AI evolucionan, es importante considerar los efectos que pueden tener los chatbots en los niños, mientras también se asegura que los Estados Unidos mantenga su papel como líder global en esta nueva y emocionante industria,” dijo el presidente de la FTC, Andrew N. Ferguson, en un comunicado de prensa.