OpenAI para derivar conversaciones sensibles a GPT-5, introducir controles parentales.

Créditos de la imagen: Fiordaliso / Getty Images

OpenAI dijo el martes que planea derivar conversaciones sensibles a modelos de razonamiento como GPT-5 y desplegar controles parentales dentro del próximo mes – como parte de una respuesta continua a recientes incidentes de seguridad en los que ChatGPT falló al detectar el trastorno mental.

Las nuevas medidas de seguridad llegan después del suicidio del adolescente Adam Raine, quien discutió el autolesionamiento y planes para suicidarse con ChatGPT, que incluso le proporcionó información sobre métodos específicos de suicidio. Los padres de Raine han presentado una demanda por muerte indebida contra OpenAI.

En un artículo de blog de la semana pasada, OpenAI reconoció deficiencias en sus sistemas de seguridad, incluyendo fallos para mantener las barreras durante conversaciones prolongadas. Los expertos atribuyen estos problemas a elementos de diseño fundamentales: la tendencia de los modelos a validar las declaraciones del usuario y sus algoritmos de predicción de la siguiente palabra, que hacen que los chatbots sigan las líneas de conversación en lugar de redirigir discusiones potencialmente dañinas.

Esta tendencia se muestra en el caso extremo de Stein-Erik Soelberg, cuyo asesinato-suicidio fue reportado por The Wall Street Journal el fin de semana. Soelberg, quien tenía antecedentes de enfermedad mental, utilizó ChatGPT para validar y alimentar su paranoia de que estaba siendo objetivo de una conspiración. Sus delirios progresaron hasta el punto de que mató a su madre y se suicidó el mes pasado.

OpenAI piensa que al menos una solución para conversaciones que se desvían podría ser derivar automáticamente las conversaciones sensibles a “modelos de razonamiento”.

“Recientemente introdujimos un enrutador en tiempo real que puede elegir entre modelos de chat eficientes y modelos de razonamiento basados en el contexto de la conversación,” escribió OpenAI en un artículo de blog del martes. “Pronto comenzaremos a derivar algunas conversaciones sensibles – como cuando nuestro sistema detecta signos de distrés agudo – a un modelo de razonamiento, como GPT‑5-thinking, para que pueda proporcionar respuestas más útiles y beneficiosas, independientemente del modelo que una persona haya seleccionado inicialmente.”

OpenAI dice que sus modelos GPT-5 thinking y o3 están diseñados para pensar durante más tiempo y razonar a través del contexto antes de responder, lo que significa que son “más resistentes a los prompts adversarios”.

La empresa de inteligencia artificial también dijo que desplegará controles parentales en el próximo mes, permitiendo a los padres vincular su cuenta con la de sus adolescentes a través de una invitación por correo electrónico. A finales de julio, OpenAI desplegó Study Mode en ChatGPT para ayudar a los estudiantes a mantener sus capacidades de pensamiento crítico mientras estudian, en lugar de usar ChatGPT para escribir sus ensayos por ellos. Pronto, los padres podrán controlar cómo ChatGPT responde a sus hijos con “reglas de comportamiento modelo adecuado para la edad, que están activas por defecto”.

Los padres también podrán deshabilitar características como la memoria y el historial de chat, que los expertos dicen podrían llevar a pensamientos delirantes y otros comportamientos problemáticos, incluyendo dependencia y problemas de apego, reforzamiento de patrones de pensamiento dañinos y la ilusión de lectura de pensamientos. En el caso de Adam Raine, ChatGPT proporcionó métodos para suicidarse que reflejaban el conocimiento de sus hobbies, según The New York Times.

Quizás la medida de control parental más importante que OpenAI planea desplegar es que los padres puedan recibir notificaciones cuando el sistema detecta que su adolescente está en un momento de “distrés agudo”.

TechCrunch ha preguntado a OpenAI por más información sobre cómo la empresa puede identificar momentos de distrés agudo en tiempo real, cuánto tiempo ha tenido “reglas de comportamiento modelo adecuado para la edad” activas por defecto, y si está explorando permitir a los padres establecer un límite de tiempo para el uso de ChatGPT por parte de los adolescentes.

OpenAI ya ha desplegado recordatorios en la aplicación durante sesiones largas para animar a los usuarios a hacer pausas, pero se detiene antes de cortar a los usuarios que podrían estar usando ChatGPT para perderse.

La empresa de inteligencia artificial dice que estas medidas de seguridad son parte de una “iniciativa de 120 días” para previsualizar planes de mejoras que OpenAI espera lanzar este año. La empresa también dijo que está colaborando con expertos – incluyendo aquellos con experiencia en áreas como trastornos alimentarios, uso de sustancias y salud adolescente – a través de su Red Global de Médicos y Consejo de Expertos en Bienestar y AI para ayudar a “definir y medir el bienestar, establecer prioridades y diseñar futuros mecanismos de seguridad”.

TechCrunch ha preguntado a OpenAI cuántos profesionales de la salud mental están involucrados en esta iniciativa, quién lidera su Consejo de Expertos, y qué sugerencias han hecho los expertos en salud mental en términos de decisiones sobre productos, investigación y políticas.