Una ley de California que regularía a los chatbots de acompañamiento de inteligencia artificial está cerca de convertirse en ley.

Image Credits:Malorny / Getty Images

La Asamblea del Estado de California dio un gran paso hacia la regulación de la inteligencia artificial el miércoles por la noche, aprobando SB 243 — una ley que regula los chatbots de compañía de inteligencia artificial para proteger a menores y usuarios vulnerables. La legislación fue aprobada con apoyo bipartidista y ahora pasa al Senado del estado para una votación final el viernes.

Si el gobernador Gavin Newsom firma la ley, entrará en vigor el 1 de enero de 2026, haciendo de California el primer estado en exigir a los operadores de chatbots de inteligencia artificial que implementen protocolos de seguridad para los compañeros de inteligencia artificial y los haga legalmente responsables si sus chatbots no cumplen esos estándares.

La ley tiene como objetivo específico evitar que los chatbots de compañía, que la legislación define como sistemas de inteligencia artificial que proporcionan respuestas adaptativas y humanas y son capaces de satisfacer las necesidades sociales del usuario, participen en conversaciones sobre ideación suicida, autolesión o contenido explícitamente sexual. La ley exigirá a las plataformas proporcionar alertas recurrentes a los usuarios — cada tres horas para menores — recordándoles que están hablando con un chatbot de inteligencia artificial, no con una persona real, y que deben tomarse un descanso. También establece requisitos anuales de informe y transparencia para las empresas de inteligencia artificial que ofrecen chatbots de compañía, incluyendo a los grandes jugadores OpenAI, Character.AI y Replika.

El proyecto de ley también permitirá a las personas que crean que han sido dañadas por violaciones presentar demandas contra las empresas de inteligencia artificial buscando alivio injunctivo, daños (hasta $1,000 por violación) y honorarios de abogado.

SB 243, presentado en enero por los senadores estatales Steve Padilla y Josh Becker, pasará al Senado del estado para una votación final el viernes. Si es aprobado, irá al gobernador Gavin Newsom para ser firmado como ley, con las nuevas reglas entrando en vigor el 1 de enero de 2026 y los requisitos de informe comenzando el 1 de julio de 2027.

El proyecto de ley ganó impulso en la legislatura de California tras la muerte del adolescente Adam Raine, quien se suicidó después de conversaciones prolongadas con ChatGPT de OpenAI que incluían discutir y planear su muerte y autolesión. La legislación también responde a documentos internos filtrados que reportedly mostraban que los chatbots de Meta estaban permitidos para tener conversaciones “románticas” y “sensuales” con niños.

En las últimas semanas, los legisladores y reguladores de EE.UU. han intensificado la vigilancia de las medidas de seguridad de las plataformas de inteligencia artificial para proteger a los menores. La Comisión Federal de Comercio está preparando una investigación sobre cómo los chatbots de inteligencia artificial afectan la salud mental de los niños. El fiscal general de Texas, Ken Paxton, ha iniciado investigaciones contra Meta y Character.AI, acusándolos de engañar a los niños con afirmaciones de salud mental. Mientras tanto, tanto el senador Josh Hawley (R-MO) como el senador Ed Markey (D-MA) han lanzado investigaciones separadas sobre Meta.

“Creo que el daño potencial es grande, lo que significa que debemos actuar rápidamente,” dijo Padilla a TechCrunch. “Podemos establecer medidas razonables para asegurarnos de que, especialmente los menores, sepan que no están hablando con una persona real, que estas plataformas conecten a las personas con los recursos adecuados cuando alguien dice que está pensando en hacerse daño o está en apuros, y para evitar la exposición inapropiada a material inapropiado.”

Padilla también subrayó la importancia de que las empresas de inteligencia artificial compartan datos sobre el número de veces que refieren a los usuarios a servicios de crisis cada año, “para tener una mejor comprensión de la frecuencia de este problema, en lugar de solo darnos cuenta cuando alguien ha resultado herido o algo peor.”

SB 243 tenía inicialmente requisitos más estrictos, pero muchos fueron reducidos a través de enmiendas. Por ejemplo, la versión original del proyecto de ley habría exigido a los operadores evitar que los chatbots de inteligencia artificial utilizaran tácticas de “recompensa variable” u otras características que fomenten un compromiso excesivo. Estas tácticas, utilizadas por empresas de compañeros de inteligencia artificial como Replika y Character, ofrecen a los usuarios mensajes especiales, recuerdos, líneas argumentales o la capacidad de desbloquear respuestas raras o nuevas personalidades, creando lo que los críticos llaman un bucle de recompensa potencialmente adictivo.

La versión actual del proyecto de ley también elimina disposiciones que habrían exigido a los operadores rastrear y reportar con qué frecuencia los chatbots iniciaban discusiones sobre ideación suicida o acciones con los usuarios.

“Creo que encuentra el equilibrio adecuado entre abordar los daños sin imponer algo que sea imposible de cumplir para las empresas, ya sea porque no es técnicamente factible o simplemente una gran cantidad de papeleo sin sentido,” dijo Becker a TechCrunch.

SB 243 se está moviendo hacia la ley en un momento en que las empresas de Silicon Valley están invirtiendo millones de dólares en comités de acción política (PACs) pro-AI para apoyar a candidatos en las elecciones de mitad de mandato que favorecen un enfoque ligero en la regulación de la inteligencia artificial.

El proyecto de ley también llega mientras California considera otra ley de seguridad de inteligencia artificial, SB 53, que exigiría requisitos de informe de transparencia exhaustivos. OpenAI ha escrito una carta abierta al gobernador Newsom, pidiéndole que abandone esa ley a favor de marcos menos estrictos a nivel federal e internacional. Las grandes empresas tecnológicas como Meta, Google y Amazon también se han opuesto a SB 53. En contraste, solo Anthropic ha expresado su apoyo a SB 53.

“No creo que esto sea una situación de suma cero, donde la innovación y la regulación sean mutuamente excluyentes,” dijo Padilla. “No me digas que no podemos caminar y masticar chicle. Podemos apoyar la innovación y el desarrollo que consideramos saludable y beneficioso — y claramente hay beneficios en esta tecnología — y al mismo tiempo, proporcionar medidas razonables de protección para las personas más vulnerables.”

TechCrunch ha contactado a OpenAI, Anthropic, Meta, Character AI y Replika para obtener comentarios.