La alianza de memoria entre Samsung y AMD podría redefinir el

Samsung acaba de cambiar las reglas del juego en memoria para chips de IA

El mundo de los semiconductores se movió rápido esta semana, pero no lo suficiente para quienes construyen sistemas de IA de nueva generación. Samsung anunció una estrategia de memoria en tres frentes en la OCP Global Summit de San José y, aunque el comunicado de prensa parece un recorrido de productos convencional, la verdadera historia es lo que revela sobre los puntos donde la industria está realmente atascada.

Las restricciones de suministro de HBM ya no son un cuello de botella para una o dos compañías. Son un cuello de botella para todos los que construyen IA a gran escala y la respuesta de Samsung, particularmente la alianza con AMD, señala que la capacidad de memoria finalmente se ha convertido en la principal restricción en el stack de hardware de IA.

El problema que nadie discutía con suficiente fuerza

Los modelos de IA no solo están creciendo en tamaño. Están exigiendo más de la memoria de maneras que el ancho de banda por sí solo no resuelve. Como explicó el vicepresidente senior Sim Ho-jun en la cumbre, las cargas de trabajo de inferencia —no solo el entrenamiento— están impulsando un aumento en los requisitos de caché KV y en los volúmenes de datos que van más allá del puro ancho de banda y entran en el terreno de la capacidad pura. Puedes tener la memoria más rápida del mundo, pero si no puede contener el conjunto de trabajo, toda esa velocidad carece de sentido.

Esta es la distinción que importa. La industria pasó años persiguiendo el ancho de banda. Ahora choca contra un muro de capacidad. Las tres estrategias de Samsung —velocidad HBM5, expansión de memoria CXL y almacenamiento persistente— son, esencialmente, una admisión de que ninguna tecnología individual resuelve el problema de la memoria en IA.

HBM5 es la parte sencilla

El anuncio de HBM5 de Samsung es notable pero no sorprendente. La memoria de alto ancho de banda ha seguido una trayectoria de actualización predecible, y Samsung lleva tiempo compitiendo con SK Hynix. La pregunta real no es si HBM5 ofrece mayor ancho de banda —lo hace— sino si Samsung puede escalar la producción lo suficientemente rápido como para satisfacer una demanda que actualmente supera con creces a la oferta.

Lo más interesante es la mención de zHBM, que apila la memoria directamente sobre el chip de computación. Este enfoque reduce la distancia que recorre los datos entre la memoria y el procesamiento, recuperando efectivamente parte de la penalización de ancho de banda que crean las restricciones de capacidad. Es una solución de hardware a un problema impulsado por software, lo que significa que solo ayuda si la arquitectura de tu chip lo soporta.

PIM —procesamiento en memoria— es el más ambicioso de los tres. Realizar cálculos simples dentro del propio arreglo de memoria es un concepto que existe desde hace décadas pero que nunca logró adopción masiva. Si Samsung logra entregar una implementación práctica de PIM a escala, cambiaría la ecuación de rendimiento para las cargas de trabajo de inferencia que dominan los sistemas de IA en producción hoy en día.

La alianza CXL con AMD es la verdadera historia

La colaboración entre Samsung y AMD en expansión de memoria basada en CXL es lo que distingue este anuncio de cualquier otro recorrido de memoria. CXL (Compute Express Link) permite a los sistemas conectar módulos de memoria de forma independiente del procesador, convirtiendo efectivamente la memoria en un recurso comunitario que puede agruparse, escalarse y compartirse entre cargas de trabajo.

Para los centros de datos de IA, esto importa porque desacopla la capacidad de memoria de la capacidad de computación. Ahora mismo, si quieres más memoria, necesitas tarjetas de aceleradoras más costosas con HBM integrado. Con módulos de memoria CXL —CMM-D (CXL Memory Module-DRAM) de Samsung— puedes agregar memoria por separado, potencialmente a menor costo y con mayor flexibilidad.

La alianza con AMD es estratégica para ambos bandos. La serie MI300 de AMD ya integra HBM sustancial, pero la compañía también ha estado desarrollando soporte CXL para sus procesadores EPYC. Samsung obtiene una ventaja de primer movimiento en el espacio de módulos de memoria CXL con un importante proveedor de GPU, y AMD obtiene acceso temprano a tecnología de memoria de un competidor sin tener que fabricarla ellos mismos.

Pero aquí hay algo que se discute menos: la expansión de memoria basada en CXL solo funciona si la jerarquía de memoria se gestiona de manera eficiente. Agregar memoria remota introduce latencia. Para cargas de trabajo de entrenamiento que ya luchan con el movimiento de datos, implementaciones ingenuas de CXL podrían perjudicar el rendimiento. Los arquitectos de sistemas que logren hacer que la memoria CXL se sienta local para la GPU tendrán una ventaja significativa.

El almacenamiento persistente completa el triángulo

El tercer pilar de Samsung — SSD empresariales de nueva generación para persistencia de datos en IA— podría parecer la parte menos emocionante del anuncio, pero es posiblemente la más importante a largo plazo. La inferencia de IA no se trata solo de ejecutar modelos. Se trata de servirlos, almacenar en caché resultados, gestionar estados KV a través de sesiones y almacenar datos de entrenamiento a escala de petabytes.

La brecha entre la memoria volátil (DRAM/HBM) y el almacenamiento no volátil (SSD) es donde los datos pasan la mayor parte de su vida y donde ocurren las mayores penalizaciones de latencia. El impulso de Samsung hacia tecnologías de almacenamiento persistente es una apuesta a que el centro de datos de IA del futuro se definirá por cuán eficientemente mueve datos a través de toda esa jerarquía —no solo por qué tan rápido la GPU puede procesarlos.

Aquí es donde también se ponen interesantes las economías. Los SSD empresariales con cargas de trabajo optimizadas para IA son un negocio de alto margen, y Samsung ha sido lenta en competir con Solidigm (la joint venture entre Intel y Kioxia) en este espacio. Un impulso hacia almacenamiento optimizado para IA de próxima generación podría forzar una respuesta competitiva que beneficie a los compradores.

Quién gana y quién pierde

Los constructores de sistemas de IA que han estado restringidos por la disponibilidad de HBM pierden menos —o potencialmente ganan. Si el enfoque CXL de Samsung y AMD funciona, crea una vía alternativa hacia la capacidad de memoria que no depende exclusivamente de cadenas de suministro de HBM dominadas por un puñado de fabricantes.

SK Hynix, actualmente el proveedor preferido de HBM para los chips de gama más alta de NVIDIA, enfrenta presión indirecta. No porque el CXL de Samsung reemplace al HBM —no lo hace— sino porque el debate sobre la memoria en IA está cambiando de “quién tiene el HBM más rápido” a “quién puede entregar la jerarquía de memoria más eficiente”. Ese es un panorama más amplio y potencialmente más competitivo.

NVIDIA no se menciona en el anuncio de Samsung, lo que dice mucho. La posición dominante de la compañía en aceleradores de IA depende de la integración estrecha entre GPU y HBM. La expansión de memoria basada en CXL es fundamentalmente una arquitectura diferente, y aunque NVIDIA puede adoptarla, socava la propuesta de valor de comprar las GPU NVIDIA más costosas precisamente porque vienen con más HBM.

Los operadores de centros de datos son los ganadores claros a corto plazo. Más capacidad de memoria, más flexibilidad en cómo se aprovisiona y potencialmente menor costo total de propiedad. La pregunta es si Samsung puede cumplir con el recorrido lo suficientemente rápido como para que importe.

El cronograma importa más que la tecnología

El anuncio de Samsung en OCP es un recorrido, no un lanzamiento de producto. Se esperan muestras de HBM5 más tarde este año, con producción en volumen en 2027. Los módulos de memoria CXL con AMD todavía están en fase de demostración. Las estrategias de almacenamiento persistente son incrementales más que revolucionarias.

Lo que hace significativo este anuncio no son las tecnologías individuales —todas son mejoras incrementales sobre direcciones existentes— sino la coordinación. Samsung está posicionando explícitamente la expansión de memoria como un problema a nivel de sistemas que requiere múltiples soluciones trabajando juntas. Esa es una comprensión más madura del desafío de hardware en IA de lo que la industria ha mostrado previamente.

Las compañías que traten esto como una competencia entre HBM, CXL y almacenamiento persistente se perderán el punto. El cuello de botella de memoria en IA no se va a ir. Está evolucionando. Y la estrategia de Samsung sugiere que está apostando a que los ganadores serán quienes optimicen a través de toda la jerarquía de memoria, no quienes persigan una sola especificación.

Esa es una tesis que vale la pena observar —y una que podría remodelar cómo la industria piensa sobre las restricciones de hardware de IA durante los próximos años.