Clarifai’s new reasoning engine makes AI models faster and less expensive.
Créditos de la imagen: IR_Stone / Getty Images
El jueves, la plataforma de inteligencia artificial Clarifai anunció un nuevo motor de razonamiento que afirma que hará que los modelos de IA funcionen dos veces más rápido y sean un 40% más baratos. Diseñado para ser adaptable a una variedad de modelos y hosts en la nube, el sistema utiliza una serie de optimizaciones para obtener más potencia de inferencia del mismo hardware.
“Es una variedad de diferentes tipos de optimizaciones, desde CUDA kernels hasta técnicas de decodificación especulativa avanzadas,” dijo el CEO Matthew Zeiler. “Puedes obtener más de las mismas tarjetas, básicamente.”
Los resultados fueron verificados por una serie de pruebas de benchmark por la firma independiente Artificial Analysis, que registró récords de la industria en términos de rendimiento y latencia.
El proceso se centra específicamente en la inferencia, las demandas computacionales de operar un modelo de IA que ya ha sido entrenado. Esa carga computacional ha aumentado significativamente con el auge de los modelos agenciales y de razonamiento, que requieren múltiples pasos en respuesta a un solo comando.
Primero lanzado como un servicio de visión por computadora, Clarifai ha estado aumentando su enfoque en la orquestación de computación a medida que la explosión de la IA ha incrementado la demanda tanto de GPUs como de los centros de datos que los alojan. La empresa anunció por primera vez su plataforma de computación en AWS re:Invent en diciembre, pero el nuevo motor de razonamiento es el primer producto específicamente diseñado para modelos agenciales de múltiples pasos.
El producto llega en medio de una presión intensa sobre la infraestructura de IA, que ha impulsado una serie de acuerdos por miles de millones de dólares. OpenAI ha presentado planes para gastar hasta $1 billón en nuevos gastos de centros de datos, proyectando una demanda casi ilimitada de computación en el futuro. Sin embargo, mientras que la construcción de hardware ha sido intensa, el CEO de Clarifai cree que hay más que puede hacerse en optimizar la infraestructura que ya tenemos.
“Hay trucos de software que pueden llevar un buen modelo como este aún más lejos, como el motor de razonamiento de Clarifai,” dice Zeiler, “pero también hay mejoras algorítmicas que pueden ayudar a combatir la necesidad de centros de datos de gigavatios. Y no creo que estemos al final de las innovaciones algorítmicas.”