El chip con computación en memoria de Samsung podría redefinir la carrera del hardware de IA

El movimiento silencioso que divide el mercado de la memoria para IA

El anuncio de Samsung de la LPDDR5X-PIM en Hot Chips 2026, en Stanford, es de esos que parecen incrementales hasta que uno traza hacia dónde se dirige el mercado del hardware para IA. La compañía no reveló una HBM más rápida, un wafer más grande ni un truco de empaquetado nuevo. Incrustó lógica aritmética dentro de DRAM de bajo consumo —el tipo de chip que ya está en todos los smartphones y la mayoría de las laptops— y demostró que hacerlo reducía casi a la mitad la latencia de procesamiento de tokens para un modelo de lenguaje de 8 mil millones de parámetros.

Las cifras son concretas. En el Llama 3.1 de código abierto de Meta, un modelo de 8B que corre sobre un módulo estándar de LPDDR5X tardó 12,3 segundos en generar una respuesta. El mismo modelo en la LPDDR5X-PIM de Samsung terminó en 5,4 segundos. El rendimiento de tokens pasó de 27 tokens por segundo a 81,3 tokens por segundo —un salto aproximadamente triple, no porque el tejido computacional fuera más rápido, sino porque los datos dejaron de ir y venir entre la memoria y el procesador.

Esa distinción importa más que el aumento de velocidad que destaca el titular.

Por qué HBM no es la única respuesta

La industria de la IA ha pasado los últimos dos años tratando la HBM —memoria de alto ancho de banda— como el sustrato por defecto para cualquier carga de trabajo de inferencia seria. Esa suposición se está resquebrajando. La HBM ofrece un ancho de banda enorme gracias a obleas apiladas en 3D e interconexiones anchas, pero es costosa de empacar, consume mucha energía y está cada vez más estrangulada por restricciones de oferta. Taiwan Semiconductor Manufacturing Co. ha tenido dificultades para escalar la producción de HBM3e lo suficientemente rápido como para atender la demanda de Amazon, Google, Microsoft y cada startup que entrena o sirve modelos masivos.

El costo de esa concentración ya se hace visible. Los GPUs más recientes de Nvidia todavía salen con disponibilidad limitada de HBM en relación con el backlog de pedidos. Los proveedores de nube están racionando instancias respaldadas por HBM. Las startups que construyen silicio exclusivo para inferencia —Groq con su unidad de procesamiento de lenguaje, Cerebras con su motor a escala de wafer— han tenido éxito precisamente porque desacoplaron la memoria de la arquitectura tradicional de GPU. No están esperando más HBM. Están diseñando en torno a su ausencia.

El movimiento de PIM de Samsung toma una ruta diferente. En lugar de construir una nueva clase de chip desde cero, modifica el propio chip de memoria para realizar aritmética limitada. El resultado no es un acelerador de centro de datos. Es una opción más barata y de menor consumo para los dispositivos que ya están en manos de la gente.

La apuesta real: IA en el dispositivo

Samsung enmarcó la tecnología en torno a la IA en dispositivo —el empuje de Apple, Qualcomm, MediaTek y Huawei por ejecutar modelos de lenguaje localmente en lugar de transmitir consultas a la nube. La economía se está trasladando. Ejecutar un modelo de 8B en un servidor cuesta electricidad, red y latencia. Ejecutarlo en un teléfono cuesta batería y margen térmico. La PIM aborda el problema térmico y de energía manteniendo los datos dentro del arreglo de memoria, donde operaciones aritméticas simples —productos punto, activaciones, matemáticas de matrices cuantizadas— pueden ejecutarse sin la penalización del viaje de ida y vuelta para mover datos a un núcleo GPU o NPU.

Esto no es teórico. Samsung probó Llama 3.1 de punta a punta y publicó los resultados de tiempo. El aumento de velocidad de 2,3x y la ganancia de rendimiento de 3x provinieron de trabajo de inferencia real, no de sintéticos. Eso es inusual para una compañía de memorias que lanza una nueva clase de producto. La mayoría de los competidores anuncian especificaciones y dejan que los clientes validen el rendimiento. Samsung invitó al escrutinio antes de la producción en volumen.

El ángulo de compatibilidad también es deliberado. LPDDR5X-PIM usa la misma estructura de arreglo de memorias que los módulos convencionales de LPDDR5X. Samsung no está pidiéndole a los diseñadores de placas madre, OEMs de teléfonos o vendedores de chips que rediseñen sus sistemas desde cero. El SDK y el simulador lanzados junto con el producto permiten a los equipos de software asignar computaciones al tejido PIM sin reescribir controladores ni reemplazar placas madre. Eso reduce drásticamente la barrera de adopción en comparación con alternativas que requieren nuevas arquitecturas de sistema.

Quién gana, quién pierde

Los ganadores son claros hasta ahora. Los fabricantes de teléfonos y laptops que necesitan ejecutar modelos de IA útiles con batería —Samsung misma, probablemente Apple en futuros dispositivos, Qualcomm y MediaTek como proveedores de chips— ganan un nueva palanca de eficiencia. La división de memorias de Samsung, que ha enfrentado presión en los márgenes por preocupaciones de exceso de oferta de HBM y erosión competitiva china en DRAM, ahora tiene un producto diferenciado que no compite directamente con el dominio de HBM de SK Hynix.

Los perdedores son menos obvios pero reales. Los aceleradores de IA centrados en GPU pierden parte de su monopolio sobre la eficiencia de inferencia en el borde. Si un teléfono puede ejecutar un modelo de 8B competentemente en LPDDR5X-PIM, el argumento comercial para incluir un NPU discreto o depender de inferencia en la nube se debilita. Los proveedores de APIs en la nube que cobran por token pierden poder de negociación cuando la computación ocurre localmente. Groq y Cerebras, que construyeron su tesis en inferencia ultrarrápida mediante silicio personalizado, no enfrentan competencia directa de PIM hoy —sus objetivos son cargas de trabajo de centro de datos, no móviles—, pero la deriva a largo plazo apunta hacia el mismo problema: reducir la distancia entre datos y computación.

SK Hynix, la líder actual en HBM, no está amenazada por LPDDR5X-PIM. Los dos productos sirven segmentos diferentes. Pero el mercado de memorias se estaba convergiendo hacia una sola narrativa —HBM para todo lo de IA—, y Samsung ha fracturado esa narrativa. Ahora existe una segunda vía creíble para la memoria de IA que no requiere la capacidad de empaquetado CoWoS de TSMC ni miles de millones en inversión de fábricas de HBM.

Las preguntas sin respuesta

La pregunta más importante es también la más ausente en la presentación de Samsung: ¿cómo escala la LPDDR5X-PIM más allá de los modelos de 8B? Llama 3.1 es pequeño por estándares actuales. Las cargas de trabajo de inferencia modernas ejecutan cada vez más modelos de 70B, 120B o más parámetros. Un aumento de velocidad de 8B es útil, pero la industria avanza hacia modelos que ni siquiera cabrán en LPDDR, con o sin PIM. Samsung no ha demostrado la tecnología en nada más grande, y las restricciones físicas de incrustar lógica en un die de memoria limitan la complejidad de las operaciones que pueden ejecutarse in situ.

Una segunda brecha es la madurez del software. El SDK y el simulador son herramientas de etapa temprana. Escribir código que particione eficazmente el trabajo entre PIM y procesadores anfitriones no es trivial. Sin un ecosistema floreciente de bibliotecas y frameworks optimizados para computación en memoria —similar a lo que CUDA construyó para GPUs—, la ventaja del hardware podría no alcanzar a los desarrolladores de aplicaciones lo suficientemente rápido como para importar.

Una tercera preocupación es la energía. PIM reduce el movimiento de datos, que es la fuente dominante de desperdicio energético en cargas de trabajo limitadas por memoria. Pero agregar lógica a un die de memoria también añade consumo de energía estática y dinámica dentro del empaque. Samsung no ha revelado el consumo del módulo LPDDR5X-PIM durante la inferencia. Si las ganancias de velocidad vienen con un aumento proporcional en el consumo, el perfil térmico en un teléfono podría anular el beneficio.

Qué sigue

Samsung ya ha comenzado el trabajo de estandarización para LPDDR6-PIM, señalando que esto es un compromiso de múltiples generaciones, no una demostración puntual. La compañía ganó el premio a memoria de próxima generación en FMS 2026 a principios de este año y usó Hot Chips para pasar del concepto al producto validado en un solo ciclo. Esa cadencia sugiere que Samsung ve a PIM como un contrapeso estratégico a la dependencia de HBM, no como un proyecto secundario.

Vale la pena notar la dimensión geopolítica. Las restricciones de exportación de EE.UU. sobre chips avanzados de IA a China han acelerado el empuje de Beijing hacia la IA en dispositivo como una forma de eludir esas restricciones. La tecnología PIM de Samsung, que no depende de los procesos semiconductores más restringidos, podría encontrar un mercado listo en fabricantes chinos de teléfonos y PCs que buscan ejecutar modelos más grandes localmente sin importar GPUs de Nvidia o sistemas con mucha HBM.

La carrera del hardware de IA nunca se resolvería con una sola arquitectura. HBM dominó la narrativa en 2024 y 2025. Groq y Cerebras demostraron que el silicio exclusivo para inferencia podía ser viable. Ahora Samsung argumenta que la próxima capa de ganancias de eficiencia vendrá de cambiar lo que hace la memoria, no solo de cuánto hay. El resultado de 5,4 segundos en Llama 3.1 es un punto de partida, no una meta. Lo que sigue depende de si la industria encuentra un camino para ejecutar modelos más grandes en memorias más pequeñas e inteligentes, o si el sueño de la IA en dispositivo se desploma bajo el peso del tamaño de los modelos.