La apuesta de Nvidia de 20.000 millones por Groq revela la economía de inferencia que nadie comenta
Los benchmarks del Groq 3 LPU de Nvidia muestran velocidades de tokens impresionantes, pero la verdadera historia radica en un cambio estratégico que podría redefinir la economía de la infraestructura de IA. La empresa apuesta a que la inferencia —no el entrenamiento— financiará la próxima década de ingresos por chips, incluso mientras competidores como Cerebras y AMD preparan contraataques heterogéneos.
El número de velocidad que oculta un terremoto estratégico
Nvidia exhibió el lunes 3.400 tokens por segundo. Esa cifra aparece en el lado correcto de un comunicado de prensa sobre el Groq 3 LPU, pero entierra el verdadero terremoto: la compañía acaba de gastar 20.000 millones de dólares para demostrar que la velocidad de inferencia, no el rendimiento de entrenamiento, dominará la próxima oleada de inversión en infraestructura de IA.
El benchmark provino de Artificial Analysis, que probó el modelo Gemma 4 31B de Google con una secuencia de entrada de 100.000 tokens. El sistema de rack LPX de Nvidia, que utiliza 64 chips Groq 3 o más, arrasó con su más cercano competidor, Cerebras, que logró 882 tok/s en condiciones idénticas. Según los propios cálculos de Nvidia, eso representa una aceleración de 4 veces.
La velocidad cruda cuenta solo la mitad de la historia. La otra mitad reside en lo que Nvidia realmente vende: una arquitectura fundamentalmente diferente que trata el ancho de banda de memoria como el recurso escaso, no los FLOPS de cómputo.
La SRAM lo cambia todo — y nada
Los centros de datos de IA tradicionales dependen de GPUs apiladas con memoria HBM4, que ofrece alrededor de 2,75 TB/s por chip. Eso es rápido según los estándares normales de ingeniería. También es el cuello de botella que define el rendimiento de inferencia.
El enfoque de Groq voltea la lógica. Cada LPU contiene 500 MB de SRAM on-die: 576 veces menos memoria que la GPU Rubin de Nvidia, pero operando a velocidades que hacen que la HBM parezca una conexión por módem. El chip no persigue los modelos hacia la memoria; la memoria viene hacia el chip.
Esto funciona de manera magnífica para modelos densos como Gemma 4 31B, donde los 31 mil millones de parámetros se activan con cada token. Funciona con menos elegancia para arquitecturas dispersas de mezcla de expertos, como DeepSeek V3, que tiene 671 mil millones de parámetros totales pero solo 37 mil millones activos por token.
Servir DeepSeek V3 en un sistema LPX requeriría 1.342 aceleradores: más de cinco racks completos. Ese no es un problema de viabilidad económica. Es un problema de cableado y refrigeración que hace que los operadores de centros de datos empiecen a sacar sus calculadoras.
La apuesta heterogénea
Nvidia sabe que la arquitectura LPU tiene límites. La verdadera jugada de la compañía no está en los sistemas solo Groq: es la inferencia heterogénea, que empareja GPUs con LPUs para dividir la carga de trabajo.
La fase de preprocesamiento — procesar prompts y construir las claves-cache — es intensiva en cómputo. Las GPUs son excepcionales aquí. La fase de decodificación — generar tokens uno por uno — sufre de escasez de ancho de banda de memoria. Ahí es donde los LPUs dominan.
Las GPUs Rubin manejan la inferencia masiva con niveles razonables de interactividad entre miles de usuarios concurrentes. Los Groq 3 LPUs ofrecen la máxima interactividad para aplicaciones sensibles a la latencia, como flujos de trabajo agénticos. Combinarlos, según Nvidia, empuja la frontera de Pareto hacia arriba y a la derecha.
Nebius, la neocloud con sede en Países Bajos, estará entre los primeros clientes en implementar sistemas combinados. El timing es crucial: las cargas de trabajo de IA agéntica están migrando de demostraciones de investigación a despliegues en producción, y la velocidad de tokens afecta directamente la profundidad de razonamiento de los agentes.
La comparación que envejece mal
La afirmación de Nvidia de ser 4 veces más rápida que Cerebras se basa en condiciones específicas de prueba que favorecen su arquitectura. La secuencia de entrada de 100.000 tokens juega a favor de las fortalezas del LPU en fases de decodificación intensivas en memoria.
Lo que Nvidia omite: Cerebras normalmente sirve modelos a precisión mixta usando activaciones de 16 bits, lo que significa que Gemma 4 31B cabe en uno o dos aceleradores CS-3 con 44 GB de memoria a escala de oblea. Nvidia necesita al menos 64 chips Groq 3 para el mismo modelo.
Las matemáticas del costo por token cambian dramáticamente cuando se considera la cantidad de chips, el espacio en rack y la entrega de energía. El comunicado de Nvidia enfatiza la velocidad. No menciona que Cerebras logró sus 882 tok/s usando una fracción del silicio.
Cerebras no se queda quieta. La compañía anunció la semana pasada que su acelerador CS-4 basado en WSE-3T duplica el cómputo, el ancho de banda de E/S, la velocidad del tejido y el ancho de banda de memoria en comparación con los chips existentes. También triplica los aceleradores por rack. Esos sistemas se lanzarán en la nube de inferencia de Cerebras más este año junto con una configuración heterogénea GPU+WSE que refleja el propio enfoque NVL72+LPX de Nvidia.
La conexión AMD-Ware
La decisión de AMD de emparejar racks de GPU Helios con aceleradores Cerebras de forma de plato de cena —anunciada en el evento Advancing AI del mes pasado— señala una alianza competitiva que amenaza la narrativa heterogénea de Nvidia.
AWS está persiguiendo una configuración similar con Cerebras. La Casa Zen no está construyendo una sola arquitectura; está construyendo un ecosistema de plataformas que posiciona a Cerebras como alternativa al enfoque intensivo en SRAM de Groq.
La adquisición de Groq por 20.000 millones de dólares consolida la tecnología, pero no monopoliza el mercado de aceleración de inferencia. El panorama competitivo se está fragmentando en torno a diseños heterogéneos, en lugar de consolidarse alrededor de un único paradigma de chips.
Qué significa esto para la apuesta de 20.000 millones
La adquisición de Groq por parte de Nvidia representa un reconocimiento estratégico: los ingresos de chips de entrenamiento son cíclicos, pero los ingresos de inferencia son recurrentes. Una GPU vendida para entrenamiento permanece inactiva entre actualizaciones de modelos. Un LPU que vende tokens de inferencia genera ingresos cada milisegundo.
La narrativa de la IA agéntica refuerza esta lógica. Una generación de tokens más rápida permite cadenas de razonamiento más largas, más turnos de agente y mayor procesamiento de información dentro de ventanas de tiempo fijas. Si los agentes se convierten en la interfaz principal de IA, la velocidad de inferencia se convierte en una característica del producto, no solo en una métrica de rendimiento.
Los benchmarks de Nvidia demuestran que la tecnología funciona. No demuestran que sea viable económicamente a escala. La brecha entre los modelos densos de 31B y los sistemas MoE de 671B revela limitaciones arquitecturales que ninguna cantidad de marketing puede cerrar.
La verdadera pregunta no es si los Groq 3 LPUs son rápidos. Es si la economía de la inferencia heterogénea justifica 20.000 millones de dólares en costo de adquisición cuando los competidores están construyendo sistemas equivalentes con menor densidad de silicio.
Nvidia tiene el canal de distribución, las relaciones con los clientes y el impulso de marca. Esas ventajas importan. Pueden no ser suficientes.
La revolución de la inferencia está llegando. Nvidia acaba de comprar un asiento en primera fila.