Scott Wiener on his fight to make Big Tech disclose AI’s dangers

Créditos de la imagen: John Sciulli / Getty Images

Esto no es el primer intento de California state Senator Scott Wiener de abordar los peligros de la inteligencia artificial.

En 2024, Silicon Valley lanzó una campaña feroz contra su controvertido proyecto de ley de seguridad de AI, SB 1047, que habría hecho responsables a las empresas tecnológicas de los posibles daños de sus sistemas de inteligencia artificial. Los líderes tecnológicos advirtieron que esto frenaría el auge de la inteligencia artificial en Estados Unidos. Finalmente, el gobernador Gavin Newsom vetó el proyecto de ley, expresando preocupaciones similares, y una casa de hackers de inteligencia artificial popular rápidamente organizó una fiesta de “veto SB 1047”. Un asistente me dijo: “Gracias a Dios, la inteligencia artificial sigue siendo legal”.

Ahora Wiener ha regresado con un nuevo proyecto de ley de seguridad de inteligencia artificial, SB 53, que espera en el escritorio del gobernador Newsom para su firma o veto en las próximas semanas. Esta vez, el proyecto de ley parece ser más popular, o al menos Silicon Valley no parece estar en guerra con él.

Anthropic ha respaldado públicamente SB 53 en las últimas semanas. El portavoz de Meta, Jim Cullinan, le dijo a TechCrunch que la empresa apoya la regulación de la inteligencia artificial que equilibra las barreras con la innovación y dijo: “SB 53 es un paso en esa dirección”, aunque hay áreas para mejorar.

El antiguo asesor de políticas de inteligencia artificial de la Casa Blanca, Dean Ball, le dijo a TechCrunch que SB 53 es un “triunfo para las voces razonables” y cree que hay una fuerte probabilidad de que el gobernador Newsom lo firme.

Si se firma, SB 53 impondrá algunos de los primeros requisitos de informe de seguridad a gigantes de la inteligencia artificial como OpenAI, Anthropic, xAI y Google, que hoy no tienen ninguna obligación de revelar cómo prueban sus sistemas de inteligencia artificial. Muchos laboratorios de inteligencia artificial publican informes de seguridad de manera voluntaria explicando cómo sus modelos de inteligencia artificial podrían ser utilizados para crear bioweapons y otros peligros, pero lo hacen a su discreción y no siempre son consistentes.

El proyecto de ley requiere que los principales laboratorios de inteligencia artificial, específicamente aquellos que generan más de $500 millones en ingresos, publiquen informes de seguridad para sus modelos de inteligencia artificial más capaces. Al igual que SB 1047, el proyecto de ley se centra específicamente en los tipos más graves de riesgos de inteligencia artificial: su capacidad para contribuir a muertes humanas, ciberataques y armas químicas. El gobernador Newsom está considerando varios otros proyectos de ley que abordan otros tipos de riesgos de inteligencia artificial, como técnicas de optimización de compromiso en chatbots de inteligencia artificial.

SB 53 también crea canales protegidos para que los empleados que trabajan en laboratorios de inteligencia artificial puedan informar preocupaciones de seguridad a funcionarios gubernamentales, y establece un clúster de computación en la nube operado por el estado, CalCompute, para proporcionar recursos de investigación de inteligencia artificial más allá de las grandes empresas tecnológicas.

Una razón por la que SB 53 podría ser más popular que SB 1047 es que es menos severo. SB 1047 también habría hecho responsables a las empresas de inteligencia artificial por cualquier daño causado por sus modelos de inteligencia artificial, mientras que SB 53 se centra más en requerir informes y transparencia. SB 53 también se aplica de manera más estrecha a las mayores empresas tecnológicas del mundo, en lugar de startups.

Sin embargo, muchos en la industria tecnológica aún creen que los estados deben dejar la regulación de la inteligencia artificial en manos del gobierno federal. En una carta reciente al gobernador Newsom, OpenAI argumentó que los laboratorios de inteligencia artificial solo deberían tener que cumplir con los estándares federales, lo cual es una cosa extraña de decirle a un gobernador estatal. La firma de capital de riesgo Andreessen Horowitz escribió un artículo de blog que sugiere vagamente que algunos proyectos de ley en California podrían violar la cláusula del comercio dormido de la Constitución, que prohíbe a los estados limitar injustamente el comercio interestatal.

El senador Wiener aborda estas preocupaciones: no confía en que el gobierno federal pase una regulación de seguridad de inteligencia artificial significativa, por lo que los estados deben dar un paso al frente. De hecho, Wiener piensa que la administración Trump ha sido capturada por la industria tecnológica, y que los recientes esfuerzos federales para bloquear todas las leyes estatales de inteligencia artificial son una forma de “recompensar a sus financiadores”.

La administración Trump ha realizado un cambio notable hacia la enfoque de la administración Biden en la seguridad de la inteligencia artificial, reemplazándolo por un énfasis en el crecimiento. Poco después de tomar posesión, el vicepresidente J.D. Vance apareció en una conferencia de inteligencia artificial en París y dijo: “No estoy aquí esta mañana para hablar de seguridad de inteligencia artificial, que era el título de la conferencia hace un par de años. Estoy aquí para hablar de oportunidades de inteligencia artificial”.

Silicon Valley ha aplaudido este cambio, ejemplificado por el Plan de Acción de AI de Trump, que eliminó barreras para construir la infraestructura necesaria para entrenar y servir modelos de inteligencia artificial. Hoy, los CEO de las grandes empresas tecnológicas se ven regularmente cenando en la Casa Blanca o anunciando centros de datos de cientos de millones de dólares junto al presidente Trump.

El senador Wiener cree que es crucial que California lidere el país en la seguridad de la inteligencia artificial, pero sin estrangular la innovación.

Recientemente entrevisté al senador Wiener para discutir sus años en la mesa de negociaciones con Silicon Valley y por qué está tan centrado en los proyectos de ley de seguridad de inteligencia artificial. Nuestra conversación ha sido editada ligeramente para claridad y brevedad. Mis preguntas están en negrita y sus respuestas no.

Maxwell Zeff: Senator Wiener, entrevisté a SB 1047 cuando estaba en el escritorio del gobernador Newsom. Hablemos sobre el viaje que ha tenido para regular la seguridad de la inteligencia artificial en los últimos años.

Scott Wiener: Ha sido una montaña rusa, una experiencia de aprendizaje increíble y realmente gratificante. Hemos podido elevar esta cuestión [de la seguridad de la inteligencia artificial], no solo en California, sino también en el discurso nacional e internacional.

Tenemos esta tecnología increíblemente poderosa que está cambiando el mundo. ¿Cómo podemos asegurarnos de que beneficie a la humanidad de una manera que reduzca el riesgo? ¿Cómo promovemos la innovación mientras también somos muy conscientes de la salud pública y la seguridad pública? Es una conversación importante [sobre la seguridad de la inteligencia artificial] y, en algún sentido, existencial sobre el futuro. SB 1047 y ahora SB 53 han ayudado a fomentar esa conversación sobre la innovación segura.

En los últimos 20 años de tecnología, ¿qué ha aprendido sobre la importancia de las leyes que pueden hacer que Silicon Valley sea responsable?

Soy el tipo que representa San Francisco, el corazón palpitante de la innovación de la inteligencia artificial. Estoy inmediatamente al norte de Silicon Valley, así que estamos justo en el medio de todo. Pero también hemos visto cómo las grandes empresas tecnológicas, algunas de las empresas más ricas de la historia del mundo, han sido capaces de detener la regulación federal.

Cada vez que veo a los CEO de las empresas tecnológicas cenando en la Casa Blanca con el aspirante a dictador fascista, tengo que tomar un respiro. Estos son todos personas muy brillantes que han generado una enorme riqueza. Muchas personas que represento trabajan para ellos. Realmente me duele ver los acuerdos que se están cerrando con Arabia Saudita y los Emiratos Árabes Unidos, y cómo ese dinero se filtra en la criptomoneda de memes de Trump. Me causa una profunda preocupación.

No soy alguien que sea anti-tecnología. Quiero que la innovación tecnológica ocurra. Es increíblemente importante. Pero esta es una industria que no debemos confiar para que se regule a sí misma o haga compromisos voluntarios. Y eso no es lanzar aspersiones sobre nadie. Esto es capitalismo, y puede crear una enorme prosperidad, pero también puede causar daño si no hay regulaciones sensatas para proteger el interés público. Cuando se trata de la seguridad de la inteligencia artificial, estamos tratando de encontrar ese equilibrio.

SB 53 se centra en los peores daños que podría causar la inteligencia artificial imaginablemente — muerte, ataques cibernéticos masivos y la creación de armas biológicas. ¿Por qué se centra allí?

Los riesgos de la inteligencia artificial son variados. Hay discriminación algorítmica, pérdida de empleo, deepfakes y estafas. Ha habido varios proyectos de ley en California y en otros lugares para abordar esos riesgos. SB 53 nunca tuvo la intención de cubrir el campo y abordar cada riesgo creado por la inteligencia artificial. Nos estamos centrando en una categoría específica de riesgo, en términos de riesgo catastrófico.

Esa cuestión me llegó de manera orgánica de personas en el espacio de la inteligencia artificial en San Francisco — fundadores de startups, tecnólogos de inteligencia artificial en primera línea y personas que están construyendo estos modelos. Vinieron a mí y dijeron: “Esto es un problema que necesita ser abordado de manera pensada”.

¿Siente que los sistemas de inteligencia artificial son inherentemente seguros, o tienen el potencial de causar muerte y ataques cibernéticos masivos?

No creo que sean inherentemente seguros. Sé que hay muchas personas trabajando en esos laboratorios que se preocupan profundamente por intentar mitigar el riesgo. Y, nuevamente, no se trata de eliminar el riesgo. La vida es sobre el riesgo, a menos que vayas a vivir en tu sótano y nunca salgas, tendrás riesgo en tu vida. Incluso en tu sótano, el techo podría caerse.

¿Hay un riesgo de que algunos modelos de inteligencia artificial puedan ser utilizados para causar un daño significativo a la sociedad? Sí, y sabemos que hay personas que estarían encantadas de hacerlo. Deberíamos intentar hacer que sea más difícil para los actores malintencionados causar estos daños severos, y así deberían hacer los que desarrollan estos modelos.

Anthropic ha emitido su apoyo a SB 53. ¿Cómo son sus conversaciones con otros jugadores de la industria?

Hemos hablado con todos: grandes empresas, pequeñas startups, inversores y académicos. Anthropic ha sido realmente constructivo. El año pasado, nunca apoyaron oficialmente [SB 1047] pero tuvieron cosas positivas que decir sobre aspectos del proyecto de ley. No creo que [Anthropic] ame cada aspecto de SB 53, pero creo que concluyeron que, en general, el proyecto de ley valía el apoyo.

He tenido conversaciones con grandes laboratorios de inteligencia artificial que no apoyan el proyecto de ley, pero no están en guerra con él de la manera en que lo estaban con SB 1047. No es sorprendente. SB 1047 era más un proyecto de ley de responsabilidad, SB 53 es más un proyecto de ley de transparencia. Las startups han estado menos involucradas este año porque el proyecto de ley realmente se centra en las mayores empresas.

¿Siente presión de los grandes PACs de inteligencia artificial que se han formado en los últimos meses?

Esto es otro síntoma de Citizens United. Las empresas más ricas del mundo pueden simplemente verter recursos ilimitados en estos PACs para intentar intimidar a los funcionarios electos. Según las reglas que tenemos, tienen todo el derecho a hacerlo. Nunca realmente me ha afectado cómo abordo la política. Siempre ha habido grupos tratando de destruirme desde que he estado en el cargo electivo. Diversos grupos han gastado millones tratando de destruirme, y aquí estoy. Estoy en esto para hacer lo correcto por mis constituyentes y tratar de hacer que mi comunidad, San Francisco, y el mundo sean mejores lugares.

¿Cuál es su mensaje para el gobernador Newsom mientras debate si firma o veta este proyecto de ley?

Mi mensaje es que lo hemos escuchado. Usted vetó SB 1047 y proporcionó un mensaje de veto muy completo y bien pensado. Sabiamente convocó un grupo de trabajo que produjo un informe muy sólido, y realmente miramos a ese informe al elaborar este proyecto de ley. El gobernador marcó un camino, y lo seguimos para llegar a un acuerdo, y espero que lo hayamos logrado.