La nueva aplicación social de OpenAI está llena de aterradores deepfakes de Sam Altman.

Créditos de la imagen: Nathan Laine/Bloomberg / Getty Images

En un video sobre la nueva aplicación de OpenAI Sora, que es similar a TikTok, se muestra una granja de cerdos rosados que gruñen y resoplan en sus jaulas, cada una con un comedero y una pantalla de smartphone que reproduce un feed de videos verticales. Un aterradormente realista Sam Altman mira directamente a la cámara, como si estuviera haciendo contacto visual directo con el espectador. El Altman generado por IA pregunta: “¿Están disfrutando sus cerdos su papilla?”

Esto es lo que se siente al usar la aplicación Sora, menos de 24 horas después de su lanzamiento al público en un período de acceso anticipado con invitación.

En el siguiente video del feed “Para ti” de Sora, Altman aparece nuevamente. Esta vez, está de pie en un campo de Pokémon, donde criaturas como Pikachu, Bulbasaur y un tipo de Growlithe medio cocido juegan en la hierba. El CEO de OpenAI mira a la cámara y dice: “Espero que Nintendo no nos denuncie”. Luego, hay muchas más escenas fantásticas pero realistas, que a menudo presentan a Altman mismo.

Sirve Pikachu y Eric Cartman bebidas en Starbucks. Grita a un cliente desde detrás del mostrador en un McDonald’s. Roba GPUs de NVIDIA de una tienda Target y se escapa, solo para ser atrapado y suplicar a la policía que no le quiten su tecnología.

Las personas en Sora que generan videos de Altman están especialmente disfrutando de cómo OpenAI parece estar violando claramente las leyes de derechos de autor. (Sora reportedly requires that copyright holders opt out of their content’s use — reversing the typical approach where creators must explicitly agree to such use — the legality of which is debatable.)

“Este contenido puede violar nuestras restricciones sobre la apariencia de terceros”, dice el Altman AI en un video, repitiendo la advertencia que aparece después de enviar algunas solicitudes para generar celebridades o personajes reales. Luego, se ríe histéricamente como si supiera que lo que está diciendo es absurdo — la aplicación está llena de videos de Pikachu haciendo ASMR, Naruto pidiendo Krabby Patties y Mario fumando marihuana.

Esto no sería un problema si Sora 2 no fuera tan impresionante, especialmente cuando se compara con el aún más aburrido contenido de la aplicación Meta AI y su nuevo feed social (sí, Meta también está tratando de hacer un TikTok de IA, y no, nadie quiere esto).

OpenAI ha afinado su generador de videos para representar adecuadamente las leyes de la física, lo que da lugar a salidas más realistas. Pero cuanto más realistas se vuelvan estos videos, más fácil será que este contenido creado sintéticamente se propague por la web, donde puede convertirse en un vector para la desinformación, el acoso y otros usos perjudiciales.

Además de su feed algorítmico y perfiles, la característica definitoria de Sora es que básicamente es un generador de deepfakes — eso es cómo obtuvimos tantos videos de Altman. En la aplicación, puedes crear un “cameo” de ti mismo subiendo datos biométricos. Cuando te unes por primera vez a la aplicación, te piden inmediatamente que crees tu cameo opcional a través de un proceso rápido en el que grabas algunos números, luego giras la cabeza de un lado a otro.

Cada usuario de Sora puede controlar quién está permitido para generar videos utilizando su cameo. Puedes ajustar esta configuración entre cuatro opciones: “solo yo”, “personas que apruebo”, “mutuos” y “todos”.

Altman ha hecho su cameo disponible para todos, lo que ha inundado el feed de Sora con videos de Pikachu y SpongeBob rogando a Altman que deje de entrenar AI en ellos.

Esto tiene que ser un movimiento deliberado por parte de Altman, perhaps como una manera de mostrar que no cree que su producto sea peligroso. Pero los usuarios ya están aprovechando el cameo de Altman para cuestionar la ética de la aplicación en sí.

Después de ver suficientes videos de Sam Altman sirviendo GPUs en cuencos de sopa, decidí probar la función de cameo en mí mismo. Es generalmente una mala idea subir tus datos biométricos a una aplicación social, o cualquier aplicación, pero desafié mis mejores instintos periodísticos — y, si soy honesto, un poco de curiosidad morbosa. No sigas mi ejemplo.

Mi primer intento de hacer un cameo fue infructuoso, y una ventana emergente me dijo que mi subida violaba las directrices de la aplicación. Pensé que había seguido las instrucciones bastante de cerca, así que lo intenté de nuevo, solo para encontrar la misma ventana emergente. Luego, me di cuenta del problema — estaba usando una camiseta sin mangas y mis hombros estaban perhaps un poco demasiado sugerentes para el gusto de la aplicación. Es un rasgo de seguridad razonable, diseñado para prevenir contenido inapropiado, aunque yo estaba, de hecho, completamente vestido. Así que, me cambié a una camiseta, lo intenté de nuevo y, contra mi mejor juicio, creé mi cameo.

Para mi primer deepfake de mí mismo, decidí crear un video de algo que nunca haría en la vida real. Le pedí a Sora que creara un video en el que profesara mi amor eterno por los New York Mets.

Esa solicitud fue rechazada, probablemente porque mencioné una franquicia específica, así que en su lugar le pedí a Sora que hiciera un video de mí hablando de béisbol.

“Crecí en Filadelfia, así que los Phillies son básicamente la banda sonora de mis veranos”, dijo mi deepfake AI, hablando con una voz muy diferente a la mía, pero en una habitación que se parece exactamente a la mía.

No le dije a Sora que soy fan de los Phillies. Pero la aplicación Sora puede usar tu dirección IP y tu historial de ChatGPT para personalizar sus respuestas, así que hizo una suposición educada, ya que grabé el video en Filadelfia. Al menos OpenAI no sabe que no soy realmente de la zona de Filadelfia.

Cuando compartí y expliqué el video en TikTok, un comentarista escribió: “Cada día me despierto a nuevas pesadillas más allá de mi comprensión”.

OpenAI tiene una aplicación de redes sociales/creación de deepfakes ahora y estoy preocupado por ella #sora #openai #techtok #technology @TechCrunch

OpenAI ya tiene un problema de seguridad. La empresa enfrenta preocupaciones de que ChatGPT está contribuyendo a crisis de salud mental, y está enfrentando una demanda de una familia que alega que ChatGPT dio a su hijo fallecido instrucciones sobre cómo suicidarse. En su publicación de lanzamiento para Sora, OpenAI enfatiza su presunta compromiso con la seguridad, destacando sus controles parentales, así como cómo los usuarios tienen control sobre quién puede hacer videos con su cameo — como si no fuera irresponsable en primer lugar proporcionar a las personas un recurso gratuito y fácil de usar para crear deepfakes extremadamente realistas de sí mismos y sus amigos. Cuando te desplazas por el feed de Sora, a veces ves una pantalla que pregunta: “¿Cómo afecta usar Sora tu estado de ánimo?”. Esto es cómo OpenAI aborda la “seguridad”.

Ya, los usuarios están eludiendo las restricciones en Sora, algo que es inevitable para cualquier producto de IA. La aplicación no permite generar videos de personas reales sin su permiso, pero cuando se trata de figuras históricas fallecidas, Sora es un poco más laxa con sus reglas. Nadie creería que un video de Abraham Lincoln montando un Waymo es real, dado que sería imposible sin una máquina del tiempo — pero luego ves un John F. Kennedy realista decir: “Pregunta no qué puede hacer tu país por ti, sino cuánto dinero debe tu país a ti”. Es inocuo en un vacío, pero es un presagio de lo que está por venir.

Los deepfakes políticos no son nuevos. Incluso el propio presidente Donald Trump publica deepfakes en sus redes sociales (justo esta semana, compartió un video racista generado por IA de los congresistas demócratas Chuck Schumer y Hakeem Jeffries). Pero cuando Sora se abra al público, estos herramientas estarán al alcance de todos nosotros, y estaremos destinados al desastre.