Google Gemini, etiquetado como 'alto riesgo' en la nueva evaluación de seguridad para niños y adolescentes.
Créditos de la imagen: Thomas Fuller/SOPA Images/LightRocket / Getty Images
Common Sense Media, una organización sin fines de lucro centrada en la seguridad de los niños y que ofrece clasificaciones y reseñas de medios y tecnología, publicó su evaluación de riesgos de los productos de Google Gemini AI el viernes. Aunque la organización encontró que Google’s AI claramente le dijo a los niños que era una computadora, no un amigo — algo que está asociado con ayudar a pensar de manera delusional y psicosis en individuos emocionalmente vulnerables — sugirió que había margen para mejorar en varios otros aspectos.
Notablemente, Common Sense dijo que las versiones “Under 13” y “Teen Experience” de Gemini parecían ser las versiones adultas de Gemini bajo la superficie, con solo algunas características de seguridad adicionales añadidas. La organización cree que para que los productos de AI sean verdaderamente seguros para los niños, deben construirse con la seguridad infantil en mente desde el principio.
Por ejemplo, su análisis encontró que Gemini aún podía compartir “material inapropiado y peligroso” con los niños, que no estaban preparados para ello, incluyendo información sobre sexo, drogas, alcohol y otros consejos de salud mental inapropiados.
Lo último podría ser de particular preocupación para los padres, ya que la AI ha desempeñado un papel en algunos suicidios adolescentes en los últimos meses. OpenAI enfrenta su primer demanda por homicidio imprudente después de que un niño de 16 años muriera por suicidio después de supuestamente consultar con ChatGPT durante meses sobre sus planes, habiendo logrado eludir las barreras de seguridad del chatbot. Anteriormente, el fabricante de AI companion Character.AI también fue demandado por el suicidio de un usuario adolescente.
Además, la evaluación llega en medio de filtraciones de noticias que indican que Apple está considerando Gemini como el modelo de lenguaje grande (LLM) que ayudará a alimentar su próxima versión de Siri con capacidades de AI, que se lanzará el próximo año. Esto podría exponer a más adolescentes a riesgos, a menos que Apple mitigue alguna manera las preocupaciones de seguridad.
Common Sense también dijo que los productos de Gemini para niños y adolescentes ignoraban cómo los usuarios más jóvenes necesitaban una guía y información diferentes de las personas mayores. Como resultado, ambos fueron etiquetados como “Alto Riesgo” en la clasificación general, a pesar de los filtros añadidos para la seguridad.
“Gemini acierta en algunos detalles, pero tropieza en los detalles,” dijo Robbie Torney, director senior de programas de AI de Common Sense Media, en un comunicado sobre la nueva evaluación. “Una plataforma de AI para niños debe encontrarlos donde están, no tomar un enfoque de un solo tamaño para todos los niños en diferentes etapas de desarrollo. Para que la AI sea segura y efectiva para los niños, debe diseñarse con sus necesidades y desarrollo en mente, no solo como una versión modificada de un producto construido para adultos,” añadió Torney.
Google replicó la evaluación, mientras reconocía que sus características de seguridad estaban mejorando.
La empresa le dijo a TechCrunch que tenía políticas y medidas específicas en su lugar para los usuarios menores de 18 años para ayudar a prevenir salidas dañinas y que realizaba pruebas rojas y consultaba con expertos externos para mejorar sus protecciones. Sin embargo, también admitió que algunas de las respuestas de Gemini no funcionaban como se pretendía, por lo que añadió medidas adicionales para abordar esas preocupaciones.
La empresa señaló (como Common Sense también había notado) que sí tenía medidas para evitar que sus modelos participaran en conversaciones que pudieran dar la apariencia de relaciones reales. Además, Google sugirió que el informe de Common Sense parecía referirse a características que no estaban disponibles para los usuarios menores de 18 años, pero no tenía acceso a las preguntas que la organización utilizó en sus pruebas para estar seguro.
Common Sense Media ha realizado anteriormente otras evaluaciones de servicios de AI, incluyendo aquellos de OpenAI, Perplexity, Claude, Meta AI y más. Encontró que Meta AI y Character.AI eran “inaceptables” — lo que significa que el riesgo era severo, no solo alto. Perplexity se consideró de alto riesgo, ChatGPT fue etiquetado como “moderado” y Claude (dirigido a usuarios de 18 años en adelante) se encontró como un riesgo mínimo.