ChatGPT no es tan consumidor de energía como se asumió anteriormente.

ChatGPT, la plataforma de chatbot de OpenAI, puede no ser tan voraz en términos de energía como se asumió anteriormente. Sin embargo, su consumo de energía depende en gran medida de cómo se utiliza ChatGPT y de los modelos de AI que responden a las consultas, según un nuevo estudio.

Un análisis reciente realizado por Epoch AI, un instituto de investigación de AI sin fines de lucro, intentó calcular cuánta energía consume una consulta típica de ChatGPT. Una estadística comúnmente citada es que ChatGPT requiere alrededor de 3 watt-hours de energía para responder a una pregunta, o 10 veces más que una búsqueda de Google.

Epoch cree que eso es un exceso.

Utilizando el modelo por defecto más reciente de OpenAI para ChatGPT, GPT-4o, como referencia, Epoch encontró que una consulta típica de ChatGPT consume alrededor de 0.3 watt-hours — menos que muchos electrodomésticos del hogar.

“El consumo de energía realmente no es un gran problema en comparación con el uso de electrodomésticos normales, calentar o enfriar tu hogar, o conducir un coche,” Joshua You, el analista de datos de Epoch que realizó el análisis, le dijo a TechCrunch.

El uso de energía de la AI — y su impacto ambiental, en general — es objeto de debate contenido como las empresas de AI buscan expandir rápidamente sus infraestructuras. Solo la semana pasada, un grupo de más de 100 organizaciones publicaron una carta abierta instando a la industria de la AI y a los reguladores a garantizar que los nuevos centros de datos de AI no agoten los recursos naturales y obliguen a las empresas de servicios públicos a depender de fuentes de energía no renovables.

You le dijo a TechCrunch que su análisis fue impulsado por lo que él caracterizó como investigaciones anteriores desactualizadas. You señaló, por ejemplo, que el autor del informe que llegó a la estimación de 3 watt-hours asumió que OpenAI utilizaba chips más antiguos y menos eficientes para ejecutar sus modelos.

“He visto mucho debate público que reconoció correctamente que la AI iba a consumir mucha energía en los próximos años, pero no describió realmente la energía que consume la AI hoy en día,” dijo You. “Además, algunos de mis colegas notaron que la estimación más ampliamente reportada de 3 watt-hours por consulta estaba basada en investigaciones bastante antiguas, y, basándose en algunos cálculos rápidos, parecía ser demasiado alta.”

Es cierto que la figura de 0.3 watt-hours de Epoch es una aproximación, ya que OpenAI no ha publicado los detalles necesarios para realizar un cálculo preciso.

El análisis también no considera los costos adicionales de energía incurridos por características de ChatGPT como la generación de imágenes o el procesamiento de entrada. You reconoció que “consultas largas” de ChatGPT — consultas con archivos largos adjuntos, por ejemplo — probablemente consumen más electricidad inicialmente que una pregunta típica.

You dijo que espera que el consumo de energía básico de ChatGPT aumente, sin embargo.

“La AI se volverá más avanzada, entrenar esta AI probablemente requerirá mucho más energía, y esta AI futura se utilizará mucho más intensamente — manejando muchas más tareas y tareas más complejas de las que se utilizan hoy en día con ChatGPT,” dijo You.

Aunque ha habido avancesremarkables en la eficiencia de la AI en los últimos meses, la escala a la que se está desplegando la AI se espera que impulse una expansión masiva de infraestructuras voraces en términos de energía. En los próximos dos años, los centros de datos de AI pueden necesitar casi toda la capacidad de energía de California de 2022 (68 GW), según un informe de Rand. Para 2030, entrenar un modelo fronterizo podría requerir una salida de energía equivalente a la de ocho reactores nucleares (8 GW), predijo el informe.

ChatGPT, por sí solo, alcanza un número enorme — y en expansión — de personas, lo que hace que sus demandas de servidores sean igualmente masivas. OpenAI, junto con varios socios de inversión, planea gastar miles de millones de dólares en nuevos proyectos de centros de datos de AI en los próximos años.

La atención de OpenAI — al igual que la del resto de la industria de la AI — también se está desplazando hacia los llamados modelos de razonamiento, que son generalmente más capaces en términos de las tareas que pueden realizar, pero requieren más computación para ejecutarse. A diferencia de los modelos como GPT-4o, que responden a las consultas casi instantáneamente, los modelos de razonamiento “piensan” durante segundos a minutos antes de responder, un proceso que consume más computación — y, por lo tanto, más energía.

“Los modelos de razonamiento tomarán cada vez más tareas que los modelos más antiguos no pueden realizar, y generarán más datos para hacerlo, y ambos requerirán más centros de datos,” dijo You.

OpenAI ha comenzado a lanzar modelos de razonamiento más eficientes en términos de energía como o3-mini. Pero parece poco probable, al menos en este momento, que los avances en eficiencia compensen el aumento de las demandas de energía de los procesos de “pensamiento” de los modelos de razonamiento y el uso creciente de la AI en todo el mundo.

You sugirió que las personas preocupadas por su huella de energía de la AI utilicen aplicaciones como ChatGPT con menos frecuencia, o seleccionen modelos que minimicen la computación necesaria — en la medida de lo posible.

“Podrías intentar usar modelos más pequeños de AI como [el modelo mini de GPT-4o de OpenAI] y usarlos esporádicamente de una manera que requiera procesamiento o generación de una gran cantidad de datos.”