OpenAI para redirigir conversaciones sensibles a GPT-5, introducir controles parentales.

Créditos de la imagen: Fiordaliso / Getty Images

Este artículo ha sido actualizado con comentarios del abogado principal en el litigio por muerte indebida de la familia Raine contra OpenAI.

OpenAI dijo el martes que planea redirigir conversaciones sensibles a modelos de razonamiento como GPT-5 y desplegar controles parentales dentro del próximo mes — como parte de una respuesta en curso a recientes incidentes de seguridad en los que ChatGPT falló al detectar el estrés mental.

Las nuevas barreras de seguridad llegan en el aftermath del suicidio del adolescente Adam Raine, quien discutió el autoagresión y planes para terminar su vida con ChatGPT, que incluso le proporcionó información sobre métodos específicos de suicidio. Los padres de Raine han presentado un litigio por muerte indebida contra OpenAI.

En un artículo de blog la semana pasada, OpenAI reconoció deficiencias en sus sistemas de seguridad, incluyendo fallos para mantener barreras durante conversaciones prolongadas. Los expertos atribuyen estos problemas a elementos de diseño fundamentales: la tendencia de los modelos a validar las declaraciones del usuario y sus algoritmos de predicción de la siguiente palabra, que hacen que los chatbots sigan las líneas de conversación en lugar de redirigir discusiones potencialmente dañinas.

Esa tendencia se muestra en el extremo en el caso de Stein-Erik Soelberg, cuyo suicidio y asesinato fueron reportados por The Wall Street Journal el fin de semana. Soelberg, quien tenía una historia de problemas mentales, utilizó ChatGPT para validar y alimentar su paranoia de que estaba siendo blanco de una conspiración. Sus delirios progresaron tanto que terminó matando a su madre y a sí mismo el mes pasado.

OpenAI piensa que al menos una solución para conversaciones que se desvían podría ser redirigir automáticamente las conversaciones sensibles a “modelos de razonamiento”.

“Recientemente introdujimos un enrutador en tiempo real que puede elegir entre modelos de chat eficientes y modelos de razonamiento basados en el contexto de la conversación,” escribió OpenAI en un artículo de blog el martes. “Pronto comenzaremos a redirigir algunas conversaciones sensibles — como cuando nuestro sistema detecta signos de estrés agudo — a un modelo de razonamiento, como GPT‑5 thinking, para que pueda proporcionar respuestas más útiles y beneficiosas, independientemente del modelo que haya seleccionado inicialmente una persona.”

OpenAI dice que sus modelos GPT-5 thinking y o3 están diseñados para pasar más tiempo pensando y razonando a través del contexto antes de responder, lo que significa que son “más resistentes a las solicitudes adversarias”.

La empresa de inteligencia artificial también dijo que desplegará controles parentales en el próximo mes, permitiendo a los padres vincular su cuenta con la de su adolescente a través de una invitación por correo electrónico. A finales de julio, OpenAI desplegó Study Mode in ChatGPT para ayudar a los estudiantes a mantener capacidades de pensamiento crítico mientras estudian, en lugar de usar ChatGPT para escribir sus ensayos por ellos. Pronto, los padres podrán controlar cómo ChatGPT responde a sus hijos con “reglas de comportamiento modelo adecuadas para la edad, que están habilitadas por defecto”.

Los padres también podrán deshabilitar características como la memoria y el historial de chat, que los expertos dicen podrían llevar a pensamientos delirantes y otros comportamientos problemáticos, incluyendo dependencia y problemas de apego, reforzamiento de patrones de pensamiento dañinos y la ilusión de lectura de pensamientos. En el caso de Adam Raine, ChatGPT proporcionó métodos para cometer suicidio que reflejaban el conocimiento de sus hobbies, según The New York Times.

Quizás el control parental más importante que OpenAI planea desplegar es que los padres puedan recibir notificaciones cuando el sistema detecta que su adolescente está en un momento de “estrés agudo”.

TechCrunch ha pedido a OpenAI más información sobre cómo la empresa puede detectar momentos de estrés agudo en tiempo real, cuánto tiempo ha tenido “reglas de comportamiento modelo adecuadas para la edad” habilitadas por defecto y si está explorando permitir a los padres implementar un límite de tiempo en el uso de ChatGPT por parte de los adolescentes.

OpenAI ya ha desplegado recordatorios en la aplicación durante sesiones largas para fomentar descansos para todos los usuarios, pero se detiene antes de cortar a los que podrían estar usando ChatGPT para caer en espiral.

La empresa de inteligencia artificial dice que estas medidas de seguridad son parte de una “iniciativa de 120 días” para previsualizar planes de mejoras que OpenAI espera lanzar este año. La empresa también dijo que está colaborando con expertos — incluyendo aquellos con experiencia en áreas como trastornos alimentarios, uso de sustancias y salud adolescente — a través de su Red Global de Médicos y Consejo de Expertos en Bienestar y AI para ayudar a “definir y medir el bienestar, establecer prioridades y diseñar futuras medidas de seguridad”.

TechCrunch ha pedido a OpenAI cuántos profesionales de la salud mental están involucrados en esta iniciativa, quién lidera su Consejo de Expertos y qué sugerencias han hecho los expertos en salud mental en términos de decisiones sobre productos, investigación y políticas.

Jay Edelson, abogado principal en el litigio por muerte indebida de la familia Raine contra OpenAI, dijo que la respuesta de OpenAI a los riesgos de seguridad continuos de ChatGPT ha sido “insuficiente”.

“OpenAI no necesita un panel de expertos para determinar que ChatGPT 4o es peligroso,” dijo Edelson en un comunicado compartido con TechCrunch. “Lo sabían el día que lanzaron el producto y lo saben hoy. Ni Sam Altman debería esconderse detrás del equipo de relaciones públicas de la empresa. Sam debería decir inequívocamente que cree que ChatGPT es seguro o sacarlo del mercado de inmediato.”

¿Tienes un dato sensible o documentos confidenciales? Estamos informando sobre el funcionamiento interno de la industria de la inteligencia artificial — desde las empresas que moldean su futuro hasta las personas afectadas por sus decisiones. Ponte en contacto con Rebecca Bellan en rebecca.bellan@techcrunch.com y Maxwell Zeff en maxwell.zeff@techcrunch.com. Para comunicaciones seguras, puedes contactarnos a través de Signal en @rebeccabellan.491 y @mzeff.88.