La ventaja de CUDA de NVIDIA pierde terreno frente a la inferencia independiente de GPU

El benchmark que lo cambia todo en silencio

En abril de 2026, el gasto enterprise agentic de OpenAI superó al gasto en ChatGPT. Ese hito pasó casi desapercibido fuera de las llamadas de resultados, pero señala algo estructural sobre hacia dónde se dirige el tráfico de IA. Las cargas de trabajo agentic —sesiones multi-turno, de contexto largo y uso de herramientas— ya no son experimentales. Dominan la inferencia en producción.

El problema es que la industria ha estado midiendo mal estas cargas de trabajo.

Llega InferenceXv3 y su benchmark AgentX, lanzado bajo licencia Apache 2.0 a mediados de agosto de 2026. SemiAnalysis invirtió más de 3 millones de dólares en construir un conjunto de datos con 393 trazas anonimizadas de Claude Code para crear lo que llaman la primera medición realista de inferencia agentic de codificación multi-turno a un millón de longitud de contexto. Los benchmarks antiguos medían prefill y decode de secuencia de longitud fija. Las cargas de trabajo reales no se parecen en nada a eso.

La diferencia importa porque cambia quién gana.

Cómo las cargas agentic desmantelan el relato de CUDA

Una sesión agentic se define por cuatro propiedades: es multi-turno a través de decenas o cientos de interacciones, acumula contexto largo rápidamente, la tasa de reutilización del prefijo se acerca a uno a medida que aumenta la profundidad de la conversación, y los picos de sub-agentes crean patrones altamente variables en el cache KV.

Ese último punto es el golpe estructural para la posición de NVIDIA. Bajo alta reutilización de prefijos, el cuello de botella deja de ser FLOPS puros por chip y pasa a ser qué tan eficientemente se mueven los tensores KV entre nodos, con qué inteligencia se enrután las conversaciones hacia donde reside su contexto, y qué tan bien se orquestan los diferentes niveles de memoria.

Estos son problemas de sistemas. No son problemas de CUDA.

Más de 70 pull requests upstream se han presentado en vLLM, SGLang, TensorRT-LLM, AITER, Dynamo, LMCache y Mooncake usando AgentX como la guía principal. La mayoría son transferibles a producción. Las optimizaciones están ocurriendo en software de código abierto que funciona en cualquier hardware con suficiente HBM —no en kernels específicos de CUDA que solo NVIDIA pueda distribuir.

AMD no es la amenaza. El software lo es.

Los resultados de AgentX cuentan una historia más matizada que “AMD le gana a NVIDIA” o “NVIDIA mantiene su posición.”

En DeepSeek V4 Pro, el B200 de NVIDIA inicialmente iba detrás del MI355X de AMD en rendimiento por dólar. Luego, Inferact y NVIDIA lanzaron optimizaciones de vLLM a fines de agosto que invirtieron el resultado: el B200 recuperó la delantera. El margen es estrecho. Hay otro artículo de actualización previsto para dentro de semanas, y los autores notan explícitamente que la carrera permanece reñida.

Pero esto es lo que los datos prueban en silencio: una actualización de software marcó la diferencia. No un nuevo chip. No un lanzamiento de CUDA. Un parche de vLLM de Inferact ejecutándose en hardware NVIDIA.

Ese es el mecanismo que erosiona el foso.

El motor ATOM de AMD —su equivalente a TensorRT-LLM— logró resultados sólidos en algunos modelos de punta e incluso superó al GB300 NVL72 con vLLM en MiniMax M3 432B en ciertos puntos de latencia. Pero la realidad de producción es más dura para AMD. El equipo de LLM Qwen en Alibaba, la base de clientes potenciales más grande en China, no usa ATOM en producción. Una unidad de negocio de publicidad sí lo hace. La brecha entre el rendimiento en benchmark y el rendimiento desplegable en AMD permanece amplia.

El problema no es el hardware. Es la pila de software. Para Kimi K3, un modelo de 2,8 billones de parámetros que no cabe en un solo servidor B200, los kernels AITER y Triton de AMD sufrieron fallos durante la primera semana de pruebas multi-turno de contexto largo. vLLM en MI355X era completamente inutilizable para cargas de trabajo realistas. NVIDIA enfrenta fricción similar: su arquitectura Hopper tiene dificultades para servir Kimi K3 sin formas de kernel TP32/EP32 personalizadas y ajustadas.

Ambos campos de hardware necesitan que el software alcance el ritmo. La diferencia está en si el ecosistema de software es lo suficientemente amplio como para importar.

El verdadero diferenciador es la memoria, no el silicio

Las métricas de servidor de AgentX revelan algo que la mayoría de los benchmarks de GPU oscurecen: las decisiones de jerarquía de memoria dominan el throughput más que la generación del chip.

Con 384 trazas agentic concurrentes, el B300 con 3 TB de DRAM logró una tasa de acierto de cache HBM del 91 por ciento. El B200 a menor concurrencia logró solo 73 por ciento de tasa de acierto HBM y dependió del offloading a DRAM para casi el 20 por ciento de los aciertos de cache. La diferencia no es filosofía arquitectónica. Son un 50 por ciento más de HBM y un pool de DRAM más grande.

Las longitudes de secuencia de entrada de DeepSeek V4 Pro cuentan la historia: p50 en 88.000 tokens, p95 en 404.000, y p99 en 675.000. Estos no son números que se ajusten cómodamente en un pool de HBM de 141 GB sin offloading. Cualquier estrategia de hardware que ignore la gestión del cache KV está optimizando para la variable equivocada.

El B300 de NVIDIA gana en MiniMax M3 432B en parte porque su stack TensorRT-LLM maneja mejor las restricciones de routing del modelo. El paralelismo de pipeline distribuido con atención (DP-attention) degrada el TTFT en más de tres veces en el B200. Las tasas de acierto de cache colapsan del 96 por ciento teórico al 28,8 por ciento real cuando una sesión de 300.000 tokens aterriza en el rank equivocado.

Esto no es una ventaja de CUDA. Es una ventaja de profundidad de stack. Las personas que han pasado más ciclos optimizando TensorRT-LLM para tamaños de modelo extremos ganan. Ahora mismo, esa es NVIDIA. Pero el trabajo está ocurriendo en código abierto, y el código abierto no respeta la lealtad a marcas.

La restricción de energía que nadie está valorando

El rendimiento por megavatio sigue apareciendo en el análisis de AgentX, y debería aterrorizar a cualquiera que asuma que la demanda de GPU escala linealmente con los ingresos. La energía es la restricción vinculante para el desarrollo de infraestructura de IA, no la disponibilidad de chips. Se proyecta que la demanda de energía de los datacenters crezca trimestre tras trimestre, y la oferta está físicamente restringida por la capacidad de la red, los tiempos de entrega de transformadores y los permisos.

Las configuraciones a escala de rack no entregan la ventaja de throughput por dólar que sí ofrecen las GPUs de un solo nodo en ciertas cargas de trabajo. En MiniMax M3, los servidores single de B200 y B300 superan a sus contrapartes a escala de rack en throughput normalizado por TCO. La suposición de que más grande es siempre más eficiente se desmorona bajo perfiles de carga agentic.

Para AMD, esto es una apertura. Para NVIDIA, es un recordatorio de que el foso de CUDA se construyó sobre supuestos de compute brute que las cargas de trabajo agentic invalidan.

Qué sucede después

El artículo de actualización de AgentX que llegará en aproximadamente tres semanas incluirá resultados frescos de AMD y NVIDIA con más optimizaciones implementadas. El perfil de carga de trabajo sigue evolucionando. El benchmark seguirá avanzando.

Lo que ya es claro: NVIDIA retiene una ventaja en modelos de punta a través de una mayor madurez de stack, pero la brecha se está cerrando rápidamente. El MI355X de AMD es competitivo en modelos específicos y regímenes de latencia. La capa de software —vLLM, SGLang, TensorRT-LLM, AITER— es donde está ocurriendo el verdadero progreso, y ninguna de ello está bloqueada para CUDA.

El foso de CUDA nunca fue solo sobre hardware. Era sobre el foso alrededor del ecosistema de software. Ese ecosistema se está volviendo agnóstico a GPU más rápido de lo que el mercado ha valorado. Los agentes que más importarán en la próxima ronda de gasto en infraestructura son los que construyen sobre stacks abiertos, no los que apuestan por exclusividad de hardware.

Los laboratorios ya están gastando más en inferencia enterprise agentic que en chat consumer. Los ganadores de hardware serán aquellos cuyos stacks de software puedan servir ese tráfico eficientemente. Hasta ahora, esa lista incluye nombres que no empiezan con N.