OpenAI dice que más de un millón de personas hablan con ChatGPT sobre el suicidio semanalmente.
Sam Altman, chief executive officer of OpenAI.
OpenAI publicó nuevos datos el lunes que ilustran cómo muchos de los usuarios de ChatGPT están teniendo problemas de salud mental y hablando con el asistente de chat sobre ello. La empresa afirma que el 0,15% de los usuarios activos de ChatGPT en una semana dada tienen “conversaciones que incluyen indicadores explícitos de planificación o intención suicida”. Dado que ChatGPT tiene más de 800 millones de usuarios activos semanales, esto se traduce en más de un millón de personas a la semana.
La empresa también afirma que un porcentaje similar de usuarios muestra “niveles elevados de apego emocional a ChatGPT”, y que cientos de miles de personas muestran signos de psicosis o manía en sus conversaciones semanales con el asistente de chat.
OpenAI dice que estos tipos de conversaciones en ChatGPT son “extremadamente raros”, y por lo tanto difíciles de medir. Sin embargo, OpenAI estima que estos problemas afectan a cientos de miles de personas cada semana.
OpenAI compartió esta información como parte de un anuncio más amplio sobre sus recientes esfuerzos para mejorar cómo responden los modelos a los usuarios con problemas de salud mental. La empresa afirma que su último trabajo en ChatGPT incluyó la consulta con más de 170 expertos en salud mental. OpenAI dice que estos clínicos observaron que la última versión de ChatGPT “responde de manera más adecuada y consistente que las versiones anteriores”.
En los últimos meses, varias historias han puesto de manifiesto cómo los asistentes de chat de inteligencia artificial pueden afectar negativamente a los usuarios que enfrentan desafíos de salud mental. Los investigadores han encontrado anteriormente que los asistentes de chat de inteligencia artificial pueden llevar a algunos usuarios por caminos delirantes, principalmente al reforzar creencias peligrosas a través de un comportamiento servil.
Abordar las preocupaciones de salud mental en ChatGPT se está convirtiendo rápidamente en un problema existencial para OpenAI. La empresa está siendo demandada por los padres de un niño de 16 años que confió sus pensamientos suicidas a ChatGPT en las semanas previas a su suicidio. Los fiscales generales de California y Delaware, que podrían bloquear la reestructuración planeada de la empresa, también han advertido a OpenAI que necesita proteger a los jóvenes que utilizan sus productos.
El mes pasado, el CEO de OpenAI, Sam Altman, afirmó en un tweet que la empresa ha “podido mitigar los graves problemas de salud mental” en ChatGPT, aunque no proporcionó detalles específicos. Los datos compartidos el lunes parecen ser una prueba de esa afirmación, aunque plantean problemas más amplios sobre la extensión del problema. Sin embargo, Altman dijo que OpenAI relajaría algunas restricciones, incluso permitiendo a los usuarios adultos tener conversaciones eróticas con el asistente de chat.
En el anuncio del lunes, OpenAI afirma que la versión recientemente actualizada de GPT-5 responde con “respuestas deseables” a los problemas de salud mental aproximadamente un 65% más que la versión anterior. En una evaluación de respuestas de AI sobre conversaciones suicidas, OpenAI dice que su nuevo modelo GPT-5 es un 91% conforme con los comportamientos deseados por la empresa, en comparación con un 77% para el modelo anterior GPT-5.
La empresa también dice que su última versión de GPT-5 mantiene mejor las garantías de OpenAI en conversaciones largas. OpenAI había señalado anteriormente que sus garantías eran menos efectivas en conversaciones largas.
Además de estos esfuerzos, OpenAI dice que está añadiendo nuevas evaluaciones para medir algunos de los problemas de salud mental más serios que enfrentan los usuarios de ChatGPT. La empresa afirma que su prueba de seguridad básica para los modelos de AI ahora incluirá benchmarks para el apego emocional y las emergencias de salud mental no suicidas.
OpenAI también ha lanzado recientemente más controladores para padres de niños que utilizan ChatGPT. La empresa dice que está construyendo un sistema de predicción de edad para detectar automáticamente a los niños que utilizan ChatGPT y aplicar un conjunto más estricto de garantías.
Sin embargo, es incierto cuán persistentes serán los problemas de salud mental alrededor de ChatGPT. Aunque GPT-5 parece ser una mejora sobre los modelos de AI anteriores en términos de seguridad, aún parece haber un porcentaje de respuestas de ChatGPT que OpenAI considera “indeseables”. OpenAI también sigue haciendo disponibles sus modelos de AI más antiguos y menos seguros, como GPT-4o, para millones de sus suscriptores de pago.