英伟达200亿美元押注Groq：揭示无人提及的推理经济

掩盖战略地震的速度数字

英伟达周一展示了每秒 3,400 个 token 的处理速度。这一数据出现在一份关于 Groq 3 LPU 的新闻稿右侧，却埋藏着一个真正地震级别的信息：该公司刚刚耗资 200 亿美元证明，推理速度而非训练吞吐量，将主宰下一波 AI 基础设施支出。

这项基准测试来自 Artificial Analysis，使用谷歌的 Gemma 4 31B 模型及 10 万 token 的输入序列。英伟达的 LPX 机架系统（采用 64 枚或更多 Groq 3 芯片）碾压了最近的竞争对手 Cerebras，后者在相同条件下仅达到 882 tok/s。按英伟达自己的计算，这是 4 倍的速度提升。

原始速度只讲了一半故事。另一半藏在英伟达实际销售的东西里：一种根本不同的架构，将内存带宽视为稀缺资源，而非计算 FLOPS。

SRAM 改变了一切——也什么都没改变

传统 AI 数据中心依赖堆满 HBM4 内存的 GPU，每块芯片提供约 2.75 TB/s 的带宽。按常规工程标准这很快。但这也是定义推理性能瓶颈的地方。

Groq 的方法反其道而行。每个 LPU 包含 500 MB 的片上 SRAM——比英伟达 Rubin GPU 的内存少 576 倍，但运行速度快得让 HBM 看起来像拨号上网。芯片不再去追模型数据，而是让内存走向芯片。

这在像 Gemma 4 31B 这样的稠密模型上运作出色，因为每个 token 都会激活全部 310 亿参数。但在像 DeepSeek V3 这样的稀疏混合专家架构上就不那么优雅了——它总共有 6710 亿参数，但每个 token 只有 370 亿处于激活状态。

在 LPX 系统上服务 DeepSeek V3 将需要 1,342 个加速器——超过五个完整机柜。这不是可扩展的经济性问题，而是布线与散热的难题，会让数据中心运营人员掏出计算器。

异构布局

英伟达知道 LPU 架构有局限。公司的真正押注并非 Groq 独占系统，而是异构推理——将 GPU 与 LPU 配对以分担工作负载。

预填充阶段——处理提示并构建键值缓存——计算密集，GPU 在此占优。解码阶段——逐个生成 token——内存带宽匮乏，这正是 LPU 的统治领域。

Rubin GPU 可处理大量并发用户的常规交互级别推理。Groq 3 LPU 则为智能体工作流等延迟敏感应用提供最高交互性。两者结合，英伟达称可推动帕累托前沿向右上方移动。

总部位于荷兰的新云服务商 Nebius 将成为首批部署混合系统的客户之一。时机至关重要：智能体 AI 工作负载正从研究演示转向生产部署，而 token 速度直接影响智能体的推理深度。

无法随时间保鲜的对比

英伟达声称比 Cerebras 快 4 倍，依赖于对其架构有利的特定测试条件。10 万 token 的输入序列放大了 LPU 在内存密集型解码阶段的优势。

英伟达未提及的是：Cerebras 通常以混合精度服务模型，使用 16 位激活，意味着 Gemma 4 31B 可放入一或两颗 CS-3 加速器中，其晶圆级内存为 44 GB。而英伟达需要至少 64 颗 Groq 3 芯片才能承载同一模型。

当计入芯片数量、机柜空间和供电成本时，每个 token 的成本计算将发生剧变。英伟达的新闻稿强调速度，却未提及 Cerebras 仅用极小部分硅片便实现了 882 tok/s。

Cerebras 并未止步。该公司上周宣布，其基于 WSE-3T 的 CS-4 加速器在计算能力、I/O 带宽、网络速度和内存带宽方面均较现有芯片翻倍，并将每机柜加速器数量提升至三倍。这些系统将于今年晚些时候在 Cerebras 推理云上亮相，同时推出异构 GPU+WSE 配置，与英伟达自身的 NVL72+LPX 方案相呼应。

与 AMD 的联动

AMD 在上月 Advancing AI 大会上宣布将 Helios GPU 机架与 Cerebras 盘式加速器配对——这一竞争性联盟威胁到英伟达的异构叙事。

AWS 也在 pursuing 类似配置。这家“禅宗之家”并非在构建单一架构，而是在搭建一个平台生态系统，将 Cerebras 定位为 Groq 重 SRAM 方案的替代选择。

英伟达 200 亿美元的收购锁定了 Groq 技术，但并未垄断推理加速市场。竞争格局正围绕异构设计碎片化，而非收敛于单一芯片范式。

200 亿美元押注意味着什么

英伟达收购 Groq 代表一种战略认知：训练芯片收入是周期性的，而推理收入是持续性的。一块用于训练的 GPU 在模型更新之间处于闲置状态。而每售出一次推理 token，LPU 每分钟都在产生收入。

智能体 AI 叙事强化了这一逻辑。更快的 token 生成 enables 更长的推理链、更多的智能体交互轮次，以及在固定时间窗口内处理更多信息。若智能体成为主要 AI 界面，推理速度便成为产品特性，而非单纯的性能指标。

英伟达的基准测试证明了技术可行。但它们未能证明经济可扩展性。310 亿参数稠密模型与 6710 亿参数 MoE 系统之间的差距，揭示了任何营销话术都无法弥合的架构限制。

真正的问题并非 Groq 3 LPU 是否够快，而是当竞争对手以更低硅密度构建同等系统时，异构推理经济是否值得 200 亿美元的收购成本。

英伟达拥有分销渠道、客户关系和品牌势能。这些优势确实重要。但它们可能不够重要。

推理革命正在来临。英伟达刚刚买了一张前排座位票。