El giro de PIM de Samsung demuestra que la ley de Moore ya está rota

El número que lo cambia todo

En Hot Chips 2026, en el campus de Stanford, Hwang Garom de Samsung se paró frente a una comunidad de semiconductores que había pasado los cuatro años anteriores viendo cómo los precios de HBM se disparaban mientras las ganancias de ancho de banda se aplanaban. Luego colocó una sola diapositiva en la pantalla que, con discreción, desmanteló toda la narrativa: Llama 3.1 ejecutando inferencia de 8 mil millones de parámetros en LPDDR5X-PIM de Samsung completó el paso en 5,4 segundos. El mismo modelo en un módulo LPDDR5X estándar tardó 12,3 segundos.

El rendimiento saltó de 27 tokens por segundo a 81,3. Un incremento triple —en un controlador de memoria, no en una GPU.

Esto importa porque el modelo mental de la industria para la aceleración de IA ha sido frágil desde hace algún tiempo. Todos asumían que la respuesta era más HBM, buses más anchos, mejor apilamiento. La suposición era que si solo pudieras mover datos lo suficientemente rápido de la memoria a la computación, el problema estaba resuelto. Los benchmarks públicos de Samsung demuestran que esa suposición es incorrecta para una clase creciente de cargas de trabajo.

La ley de Moore no murió. Simplemente dejó de ayudar al problema correcto.

El encuadre de la crisis de hardware de IA por la industria de semiconductores siempre ha sido centrado en la termalidad y la densidad de transistores. Si necesitas más FLOPS, escalas el procesador. El lado de la memoria se trataba como plomería: costoso, necesario, pero no el lugar donde debería invertirse el imaginativo arquitectónico.

PIM gira esa jerarquía cabeza abajo. En lugar de extraer datos a través de un bus, comprimirlos a través de un controlador y alimentarlos en una unidad de cómputo, la operación ocurre donde residen los datos. El costo energético de mover bits entre DRAM y un núcleo de procesador es, en muchas cargas de trabajo sostenidas, mayor que el costo energético de la aritmética en sí. Esa idea no es nueva — MIT y otros han publicado artículos sobre PIM por más de una década —, pero nunca se ha comercializado a densidades de memoria de consumo hasta ahora.

La decisión de Samsung de hacer open-source el SDK y publicar los benchmarks en una conferencia revisada por pares, en lugar de enterrarlos en un comunicado de prensa, es una señal estratégica. La compañía está tratando de convertir PIM en la conversación predeterminada antes de que los proveedores de HBM puedan replantearlo como un nicho. La carrera ya no es quién puede apilar más capas de HBM. Es quién define la arquitectura que funciona cuando los datos no necesitan viajar.

Por qué LPDDR, no HBM, es la verdadera historia

HBM-PIM fue demostrado por Samsung ya en 2021. Nadie entró en pánico. HBM domina la IA de centros de datos porque su ancho de banda es inigualable — 800 GB/s y subiendo por stack. Para entrenar modelos masivos o ejecutar cargas de trabajo de clase GPT a escala, nada cercano existe. La industria trató correctamente a HBM-PIM como una dirección de investigación, no como una estrategia de producto.

LPDDR5X-PIM es diferente porque apunta a los miles de millones de dispositivos que nunca usarán HBM. Smartphones. Laptops. Aceleradores de IA integrados. Estos dispositivos operan dentro de límites de energía estrictos — típicamente de 5 a 15 vatios para todo el subsistema. En ese dominio, la ventaja de ancho de banda de HBM es irrelevante. Lo que importa es terajulios por vatio, y ese es un problema de arquitectura de memoria, no de procesador.

La razón de ingeniería de Samsung es sencilla: el mercado de LLM se está fragmentando. Los modelos se están reduciendo de 175B de parámetros a variantes de 3B, 8B y sub-2B optimizadas para latencia y costo. La suposición de que cada carga de trabajo de IA necesita memoria a escala de centro de datos se está volviendo comercialmente insostenible. Un teléfono que ejecuta un modelo de 8B localmente a 81 tokens por segundo usando formatos LPDDR existentes es un producto, no un paper.

La jugada de compatibilidad con retroceso que podría consolidar un estándar

Quizás el detalle más sofisticado estratégicamente en el anuncio de Samsung no fue el benchmark, sino la arquitectura. LPDDR5X-PIM usa el mismo arreglo de memoria que LPDDR5X convencional. El die de cómputo se ubica junto al die de DRAM en el mismo paquete, compartiendo el mismo pinout y los mismos requisitos de integridad de señal. Una placa madre diseñada para LPDDR5X puede, en principio, aceptar un módulo LPDDR5X-PIM sin rediseño de board.

Esto es deliberado. Cada gran cambio de arquitectura de memoria en la historia de la computación — SDRAM reemplazando a DRAM, DDR reemplazando a SDRAM, HBM reemplazando a GDDR — requirió reingeniería en todo el ecosistema. La curva de adopción se medía en años, no en trimestres. Al mantener la compatibilidad de pines, Samsung está colapsando ese cronograma. Los integradores de sistema, fabricantes de laptops y diseñadores de SoC para smartphones pueden evaluar PIM sin reescribir su distribución de energía ni su ruteo de señales.

El SDK y el simulador son igualmente importantes. PIM desplaza la programación de un enfoque centrado en GPU a uno consciente de la memoria. Las abstracciones CUDA y Metal existentes no exponen el paradigma de cómputo-en-memoria. La decisión de Samsung de proveer herramientas antes de que el volumen del producto se despliegue significa que la pila de software madurará junto con el hardware, no detrás de él. Esa secuencia — herramientas antes que silicio — es lo que separó los estándares exitosos de los olvidados.

Quién gana, quién pierde y qué sigue

Los proveedores de HBM pierden primero. El competidor surcoreano de Samsung, Hynix, y Micron en Estados Unidos, construyeron sus narrativas de memoria para IA en métricas de ancho de banda por paquete. PIM reformula la métrica como energía por inferencia. Las compañías que se optimizaron para la altura del stack de HBM ahora enfrentan un mercado donde la configuración óptima podría ser un módulo LPDDR más barato y de menor ancho de banda con cómputo on-die. Ese es un evento de compresión de márgenes para los proveedores exclusivos de HBM.

Los fabricantes de GPU ocupan una posición ambigua. NVIDIA y AMD se benefician de PIM solo si sus GPUs lo integran; pierden si los dispositivos los bypassan por completo. Un modelo de 8B corriendo a 81 TPS en LPDDR5X-PIM en un smartphone no recurre a una GPU discreta. La narrativa de IA en dispositivo que Samsung y Apple han estado construyendo por años de repente tiene una base de memoria en lugar de una fantasía de procesador.

El ganador más claro es Samsung misma, siempre que pueda sostener el ritmo. La compañía ahora posee el único producto PIM con benchmarks públicos, SDK incluido y compatible con retroceso en LPDDR. El trabajo de estandarización de LPDDR6-PIM ya en curso significa que la próxima generación consolida esa posición antes de que los competidores puedan ingeniar reversamente la arquitectura. Si otros proveedores de memoria siguen el paso, estarán persiguiendo una especificación que Samsung ayudó a escribir.

La implicación más amplia es estructural. El escalamiento de la Ley de Moore en transistores de procesadores se ha ralentizado a mejoras anuales de un solo dígito. La respuesta de la industria ha sido arrojar más HBM al problema, lo cual también se está encontrando con límites físicos en altura de stack y disipación térmica. PIM es el reconocimiento de que las próximas ganancias significativas de rendimiento vendrán de reorganizar dónde ocurre la computación, no de hacer procesadores más densos. El benchmark público de Samsung no es un anuncio de producto. Es una declaración de tesis para la era del hardware de IA post-Moore.