Nvidia estrena un chip pensado solo para que los agentes de IA respondan sin esperas

Nvidia anunció el 24 de agosto, durante la conferencia técnica Hot Chips, que su chip Groq 3 LPX ha entrado en producción a plena escala. Se trata de un acelerador diseñado con un propósito muy concreto: no entrenar modelos ni procesar grandes cantidades de contexto, sino acelerar específicamente la generación de la respuesta, token a token, en los sistemas de IA que actúan como agentes.

El problema que resuelve

Para entender por qué importa, conviene distinguir dos fases del trabajo de un modelo de IA. La primera es procesar todo el contexto de entrada —leer la pregunta, el historial, los documentos—, una tarea para la que las GPU tradicionales de Nvidia rinden muy bien. La segunda es generar la respuesta, palabra por palabra, y ahí es donde aparece el problema: un agente de IA que razona, usa herramientas y encadena varios pasos genera enormes cantidades de esos tokens de respuesta, y cualquier retraso en cada uno de ellos se multiplica a lo largo de la cadena completa de la tarea. Es la diferencia entre un asistente que responde al instante y uno que se siente torpe. El Groq 3 LPX se especializa exclusivamente en esa segunda fase, trabajando junto a las GPU de la plataforma Vera Rubin de Nvidia, no en su lugar.

De dónde viene la tecnología

El chip nace de la adquisición del talento de Groq, la startup especializada en chips de inferencia de baja latencia que Nvidia se llevó por unos 20.000 millones de dólares —la operación que ya cubrimos en su día, y que sigue el mismo patrón que semanas después repitió con la startup Poolside: quedarse con la tecnología y el equipo sin una compra formal—. Con el grueso del talento de Groq ya integrado en Nvidia, la promoción del producto ha pasado a manos de la propia compañía. Según sus cifras, un rack completo puede combinar hasta 256 de estos aceleradores, y la decodificación de contexto largo sería hasta cuatro veces más rápida que los servicios públicos actuales. Nebius, un proveedor de nube especializado en IA, es el primer cliente comercial confirmado.

Lo que conviene mirar con cautela

Como con cualquier anuncio de rendimiento, las cifras —los "cuatro veces más rápido" o las comparativas de rendimiento frente a la generación anterior— son de la propia Nvidia, medidas en sus propias condiciones, y aún sin verificación independiente amplia. Conviene además situar el anuncio en su contexto comercial: Nvidia lleva meses fragmentando su oferta en piezas cada vez más especializadas —GPU para entrenamiento, CPU propia (Vera), ahora un chip solo para decodificación—, una estrategia que profundiza la dependencia de todo el ecosistema de IA de un único proveedor con presencia en cada capa de la infraestructura. Para una empresa que contrate servicios de IA a través de la nube, el efecto práctico llegará indirectamente: si estos chips cumplen lo prometido, los asistentes y agentes que uses deberían sentirse más rápidos con el tiempo, aunque el ritmo real de esa mejora dependerá de qué proveedores de nube adopten la tecnología, no solo de que Nvidia la fabrique.

GonzaloFundador

Madrileño enganchado a la tecnología desde pequeño. Trabajo en finanzas pero la inteligencia artificial es lo que me quita el sueño. Creé Miuranews para seguirla de cerca y contarla en español sin hype.

Todos sus artículos →