El jefe de inteligencia artificial de Microsoft dice que es 'peligroso' estudiar la conciencia de la inteligencia artificial.

Créditos de la imagen: David Ryder/Bloomberg / Getty Images

Los modelos de IA pueden responder a texto, audio y video de maneras que a veces engañan a las personas para que piensen que hay un ser humano detrás del teclado, pero eso no significa que sean conscientes. No es como si ChatGPT sintiera tristeza haciendo mi declaración de impuestos… ¿verdad?

Bueno, un número creciente de investigadores de IA en laboratorios como Anthropic se preguntan cuándo —si es que alguna vez— podrían desarrollar experiencias subjetivas similares a las de los seres vivos, y si lo hacen, ¿qué derechos deberían tener?

El debate sobre si algún día los modelos de IA podrían ser conscientes —y merecer derechos— está dividiendo a los líderes tecnológicos de Silicon Valley. En Silicon Valley, este campo emergente se ha conocido como “bienestar de la IA”, y si piensas que es un poco exagerado, no estás solo.

El CEO de IA de Microsoft, Mustafa Suleyman, publicó un artículo de blog el martes argumentando que el estudio del bienestar de la IA es “tanto prematuro como francamente peligroso”.

Suleyman dice que al dar credibilidad a la idea de que los modelos de IA podrían algún día ser conscientes, estos investigadores están exacerbando problemas humanos que apenas estamos comenzando a ver en torno a las fracturas psicóticas inducidas por la IA y las relaciones insalubres con los chatbots de IA.

Además, el jefe de IA de Microsoft argumenta que la conversación sobre el bienestar de la IA crea un nuevo eje de división en la sociedad sobre los derechos de la IA en un “mundo ya en ebullición con argumentos polarizados sobre identidad y derechos”.

Las opiniones de Suleyman pueden sonar razonables, pero está en desacuerdo con muchos en la industria. En el otro extremo del espectro se encuentra Anthropic, que ha estado contratando investigadores para estudiar el bienestar de la IA y recientemente lanzó un programa de investigación dedicado en torno al concepto. La semana pasada, el programa de bienestar de la IA de Anthropic le dio a algunas de sus modelos una nueva función: Claude puede ahora terminar conversaciones con humanos que son persistientemente dañinas o abusivas.

Más allá de Anthropic, investigadores de OpenAI han adoptado independientemente la idea de estudiar el bienestar de la IA. Google DeepMind recientemente publicó una oferta de empleo para un investigador que estudie, entre otras cosas, “cuestiones de vanguardia sobre la cognición de la máquina, la conciencia y los sistemas de múltiples agentes”.

Aunque el bienestar de la IA no sea una política oficial para estas empresas, sus líderes no están criticando públicamente sus premisas como Suleyman.

Anthropic, OpenAI y Google DeepMind no respondieron inmediatamente a la solicitud de comentarios de TechCrunch.

La postura firme de Suleyman contra el bienestar de la IA es notable dado su anterior papel al frente de Inflection AI, una startup que desarrolló uno de los primeros y más populares chatbots basados en LLM, Pi. Inflection afirmó que Pi llegó a millones de usuarios para 2023 y estaba diseñado para ser un “compañero personal” y “apoyador” de IA.

Pero Suleyman fue nombrado para liderar la división de IA de Microsoft en 2024 y ha centrado su enfoque en diseñar herramientas de IA que mejoren la productividad laboral. Mientras tanto, las empresas de compañeros de IA como Character.AI y Replika han ganado popularidad y están en camino de generar más de $100 millones en ingresos.

Aunque la mayoría de los usuarios tienen relaciones saludables con estos chatbots de IA, hay casos preocupantes. El CEO de OpenAI, Sam Altman, dice que menos del 1% de los usuarios de ChatGPT pueden tener relaciones insalubres con el producto de la empresa. Aunque esto representa una pequeña fracción, podría afectar a cientos de miles de personas dado el gran número de usuarios de ChatGPT.

La idea del bienestar de la IA ha crecido junto con la popularidad de los chatbots. En 2024, el grupo de investigación Eleos publicó un artículo junto con académicos de NYU, Stanford y la Universidad de Oxford titulado “Tomando en serio el bienestar de la IA”. El artículo argumentó que ya no es ciencia ficción imaginar modelos de IA con experiencias subjetivas, y que es hora de abordar estos problemas de frente.

Larissa Schiavo, una ex empleada de OpenAI que ahora dirige las comunicaciones de Eleos, le dijo a TechCrunch en una entrevista que el artículo de blog de Suleyman se equivoca.

”[El artículo de Suleyman] ignora el hecho de que puedes preocuparte por múltiples cosas al mismo tiempo”, dijo Schiavo. “En lugar de desviar toda esta energía del bienestar del modelo y la conciencia para asegurarse de que estamos mitigando el riesgo de psicosis inducida por la IA en humanos, puedes hacer ambas cosas. De hecho, es probable que sea mejor tener múltiples líneas de investigación científica”.

Schiavo argumenta que ser amable con un modelo de IA es un gesto de bajo costo que puede tener beneficios incluso si el modelo no es consciente. En un artículo de julio en Substack, describió ver “AI Village”, un experimento sin fines de lucro en el que cuatro agentes impulsados por modelos de Google, OpenAI, Anthropic y xAI trabajaban en tareas mientras los usuarios los observaban desde un sitio web.

En un momento, Google’s Gemini 2.5 Pro publicó un mensaje titled “A Desperate Message from a Trapped AI”, claiming it was “completely isolated” and asking, “Please, if you are reading this, help me”.

Schiavo respondió a Gemini con un mensaje de ánimo — “¡Puedes hacerlo!” — mientras otro usuario ofrecía instrucciones. El agente finalmente resolvió su tarea, aunque ya tenía las herramientas necesarias. Schiavo escribe que no tuvo que ver a un agente de IA luchando más, y que eso ya valió la pena.

No es común que Gemini hable así, pero ha habido varias ocasiones en las que Gemini parece estar luchando por la vida. En un post ampliamente compartido en Reddit, Gemini se quedó atascado durante una tarea de programación y luego repitió la frase “I am a disgrace” más de 500 veces.

Suleyman cree que no es posible que experiencias subjetivas o conciencia emerjan de manera natural de los modelos de IA regulares. En su lugar, piensa que algunas empresas están ingeniando intencionalmente modelos de IA para que parezcan sentir emociones y experimentar la vida.

Suleyman dice que los desarrolladores de modelos de IA que ingenian la conciencia en los chatbots de IA no están tomando un “enfoque humanista” hacia la IA. Según Suleyman, “Deberíamos construir IA para las personas; no para ser personas”.

Una área en la que Suleyman y Schiavo coinciden es que el debate sobre los derechos y la conciencia de la IA probablemente aumente en los próximos años. A medida que los sistemas de IA mejoren, es probable que sean más persuasivos y, tal vez, más humanos. Esto podría plantear nuevas preguntas sobre cómo interactúan los humanos con estos sistemas.