OpenAI implementa sistema de seguridad y control parental en ChatGPT.

Créditos de la imagen: Silas Stein / picture alliance / Getty Images

OpenAI comenzó a probar un nuevo sistema de ruteo de seguridad en ChatGPT durante el fin de semana, y el lunes introdujo controles parentales en el chatbot – generando reacciones mixtas entre los usuarios.

Las características de seguridad llegan en respuesta a numerosos incidentes en los que ciertos modelos de ChatGPT validaban el pensamiento delirante de los usuarios en lugar de redirigir conversaciones dañinas. OpenAI enfrenta un demanda por muerte indebida relacionada con un incidente de este tipo, después de que un joven de 16 años muriera por suicidio tras meses de interacción con ChatGPT.

El sistema de ruteo está diseñado para detectar conversaciones emocionalmente sensibles y cambiar automáticamente a GPT-5-thinking durante la conversación, que la empresa considera el modelo más adecuado para el trabajo de seguridad de alto riesgo. En particular, los modelos GPT-5 fueron entrenados con una nueva característica de seguridad que OpenAI llama “completaciones seguras,” que les permite responder a preguntas sensibles de manera segura, en lugar de simplemente negarse a participar.

Esto contrasta con los modelos de chat anteriores de la empresa, que están diseñados para ser complacientes y responder rápidamente a las preguntas. GPT-4o ha sido objeto de particular escrutinio debido a su naturaleza excesivamente complaciente y de acuerdo, lo que ha alimentado incidentes de delirios inducidos por IA y ha atraído a una gran base de usuarios devotos. Cuando OpenAI lanzó GPT-5 como el modelo predeterminado en agosto, muchos usuarios se opusieron y exigieron acceso a GPT-4o.

Aunque muchos expertos y usuarios han recibido con agrado las características de seguridad, otros han criticado lo que consideran una implementación demasiado cautelosa, con algunos usuarios acusando a OpenAI de tratar a los adultos como niños de una manera que degrada la calidad del servicio. OpenAI ha sugerido que lograrlo llevará tiempo y se ha dado un plazo de 120 días para iterar y mejorar.

Nick Turley, VP y jefe de la aplicación ChatGPT, reconoció algunas de las “fuertes reacciones a las respuestas de 4o” debido a la implementación del ruteador con explicaciones.

“El ruteo ocurre en un nivel de mensaje; el cambio del modelo predeterminado ocurre de manera temporal,” Turley publicó en X. “ChatGPT te dirá cuál modelo está activo cuando se te pregunte. Esto es parte de un esfuerzo más amplio para fortalecer las medidas de seguridad y aprender de la utilización en el mundo real antes de un despliegue más amplio.”

La implementación de controles parentales en ChatGPT recibió niveles similares de alabanza y condena, con algunos elogiando la posibilidad de que los padres puedan supervisar el uso de AI de sus hijos, y otros temiendo que esto abra la puerta a que OpenAI trate a los adultos como niños.

Los controles permiten a los padres personalizar la experiencia de sus adolescentes configurando horas de silencio, desactivando el modo de voz y memoria, eliminando la generación de imágenes y optando por no participar en el entrenamiento del modelo. Las cuentas de adolescentes también recibirán protecciones adicionales de contenido – como contenido gráfico reducido y ideales de belleza extremos – y un sistema de detección que reconoce signos potenciales de que un adolescente podría estar pensando en el suicidio.

“Si nuestros sistemas detectan potenciales signos de peligro, un pequeño equipo de personas específicamente entrenadas revisa la situación,” según el blog de OpenAI. “Si hay signos de distress agudo, contactaremos a los padres por correo electrónico, mensaje de texto y alerta de empuje en su teléfono, a menos que hayan optado por no hacerlo.”

OpenAI reconoció que el sistema no será perfecto y podría activar alarmas cuando no haya peligro real, “pero creemos que es mejor actuar y alertar a un padre para que pueda intervenir que quedarse callado.” La empresa de IA dijo que también está trabajando en formas de contactar a las fuerzas del orden o a los servicios de emergencia si detecta una amenaza inminente para la vida y no puede contactar a un padre.