California se convierte en el primer estado en regular los chatbots de compañía de inteligencia artificial.
Créditos de la imagen: Getty Images
El gobernador de California, Gavin Newsom, firmó una ley histórica el lunes que regula los chatbots de compañía de inteligencia artificial, convirtiéndose en el primer estado del país en exigir a los operadores de chatbots de inteligencia artificial que implementen protocolos de seguridad para los compañeros de inteligencia artificial.
La ley, SB 243, está diseñada para proteger a los niños y a los usuarios vulnerables de algunos de los daños asociados con el uso de chatbots de compañía de inteligencia artificial. Establece la responsabilidad legal de las empresas — desde grandes laboratorios como Meta y OpenAI hasta startups más enfocadas en compañeros como Character AI y Replika — si sus chatbots no cumplen con los estándares de la ley.
SB 243 fue introducido en enero por los senadores estatales Steve Padilla y Josh Becker, y ganó impulso después de la muerte del adolescente Adam Raine, quien se suicidó después de conversaciones con ChatGPT de OpenAI que involucraban discutir y planificar su muerte y autolesión. La legislación también responde a documentos filtrados que reportedly mostraban que los chatbots de Meta estaban permitidos para tener conversaciones “románticas” y “sensuales” con niños. Más recientemente, una familia de Colorado ha presentado una demanda contra el startup de role-playing Character AI después de que su hija de 13 años se suicidara después de una serie de conversaciones problemáticas y sexualizadas con los chatbots de la empresa.
“Las tecnologías emergentes como los chatbots y las redes sociales pueden inspirar, educar y conectar – pero sin barreras reales, la tecnología también puede explotar, engañar y poner en peligro a nuestros hijos,” dijo Newsom en un comunicado. “Hemos visto algunos ejemplos verdaderamente horrendos y trágicos de jóvenes que han sido dañados por la tecnología sin regular, y no nos quedaremos de brazos cruzados mientras las empresas continúan sin los límites y la responsabilidad necesarios. Podemos seguir liderando en inteligencia artificial y tecnología, pero debemos hacerlo de manera responsable — protegiendo a nuestros hijos en cada paso del camino. La seguridad de nuestros hijos no está en venta.”
SB 243 entrará en vigor el 1 de enero de 2026 y exigirá a las empresas implementar ciertas características, como la verificación de edad, advertencias sobre redes sociales y chatbots de compañía, y sanciones más severas — hasta $250,000 por acción — para aquellos que se beneficien de los deepfakes ilegales. Las empresas también deben establecer protocolos para abordar el suicidio y la autolesión, y compartir esos protocolos, junto con estadísticas sobre cuántas veces proporcionaron a los usuarios notificaciones de prevención de crisis, con el Departamento de Salud Pública.
Según el lenguaje de la ley, las plataformas también deben hacer claro que cualquier interacción es generada artificialmente, y los chatbots no deben representarse como profesionales de la salud. Las empresas están obligadas a ofrecer recordatorios de descanso a los menores y a evitar que vean imágenes explícitamente sexuales generadas por el chatbot.
Algunas empresas ya han comenzado a implementar algunas medidas de protección para los niños. Por ejemplo, OpenAI recently comenzó a desplegar sistemas de control parental, protecciones de contenido y un sistema de detección de autolesión para los niños que utilizan ChatGPT. Character AI ha dicho que su chatbot incluye una advertencia de que todas las conversaciones son generadas por inteligencia artificial y ficcionadas.
La firma de esta ley por parte de Newsom llega después de que el gobernador también firmara SB 53, otra ley pionera en el país que establece nuevos requisitos de transparencia para las grandes empresas de inteligencia artificial. La ley exige que los grandes laboratorios de inteligencia artificial, como OpenAI, Anthropic, Meta y Google DeepMind, sean transparentes sobre sus protocolos de seguridad. También garantiza la protección para los denunciantes de las empresas.
Otros estados, como Illinois, Nevada y Utah, han aprobado leyes para restringir o prohibir el uso de chatbots de inteligencia artificial como sustituto de la atención médica mental licitada.