英伟达的CUDA护城河正在被GPU无关推理蚕食

那个悄然改变一切基准

2026年4月，OpenAI企业级智能体（agentic）支出首次超越ChatGPT支出。这一里程碑在财报电话会之外几乎无人关注，但它揭示了一个关于AI流量走向的结构性信号。智能体工作负载——多轮对话、长上下文、调用工具的执行会话——已不再是实验品。它们主导了生产环境的推理需求。

问题在于，整个行业一直在错误地衡量这些工作负载。

这时，InferenceXv3及其AgentX基准测试登场。该项目于2026年8月中旬以Apache 2.0协议开源。SemiAnalysis投入超过300万美元，构建了包含393个匿名Claude Code轨迹的数据集，打造了所谓首个在百万token上下文长度下真实测量多轮智能体编码推理的基准。旧版基准只衡量固定序列长度的prefill和解码。真实工作负载与此截然不同。

这个差异之所以重要，是因为它决定了谁将胜出。

智能体工作负载如何颠覆CUDA叙事

智能体会话由四个特征定义：跨数十或数百次交互的多轮对话、快速积累的长上下文、随着对话深度增加前缀复用率趋近于1，以及子代理突发产生的高度可变KV缓存模式。

最后这一点是对英伟达地位的结构性冲击。在高前缀复用的场景下，瓶颈不再是每芯片的原始FLOPS，而是KV张量如何在节点间高效移动、对话如何被智能路由到其上下文所在的节点，以及不同存储层级之间如何协调运作。

这些都是系统工程问题。它们不是CUDA问题。

已在vLLM、SGLang、TensorRT-LLM、AITER、Dynamo、LMCache和Mooncake上提交了70多个上游拉取请求，以AgentX为指引方向。大多数可转移到生产环境。优化正发生在开源软件中——只要在拥有足够HBM的硬件上就能运行——而非仅英伟达能交付的CUDA专属算子。

AMD不是威胁。软件才是。

AgentX的结果讲述了一个比"AMD击败英伟达"或"英伟达稳如泰山"更复杂的故事。

在DeepSeek V4 Pro上，英伟达B200最初在每美元性能上落后于AMD的MI355X。随后Inferact和英伟达在8月下旬发布了vLLM优化补丁，扭转了结果——B200重新夺回领先。差距非常细微。更新文章将在几周内发布，作者也明确指出竞争依然胶着。

但数据静默地证明了这一点：一次软件更新推动了性能变化。不是新芯片。不是CUDA版本更新。而是一补丁从Inferact发布的、运行在英伟达硬件上的vLLM。

这正是侵蚀护城河的作用机制。

AMD的ATOM引擎——其对标TensorRT-LLM的产品——在某些前沿模型上表现强劲，甚至在MiniMax M3 432B的部分延迟点上击败了GB300 NVL72的vLLM。但在生产环境中，AMD的处境更严峻。阿里通义LLM团队——中国最大的潜在客户群之一——在生产中不使用ATOM。仅有一个广告业务部门在使用。AMD的基准性能与可部署性能之间的差距仍然很大。

问题不在于硬件，而在于软件栈。对于Kimi K3——一个2.8万亿参数、无法单台B200服务器承载的模型——AMD的AITER和Triton算子在第一周的长上下文多轮测试中频繁出错。MI355X上的vLLM对真实工作负载完全不可用。英伟达也面临类似摩擦——其Hopper架构在未经定制调优的TP32/EP32算子形状下，难以高效服务Kimi K3。

两个硬件阵营都需要软件追赶。区别在于，软件生态是否足够广泛，足以产生实质影响。

真正的差异在于内存，而非硅片

AgentX的服务器指标揭示了一个大多数GPU基准测试所模糊的事实：内存层级决策对吞吐量的影响远超芯片代际差异。

在384路并发智能体轨迹的压力下，配备3TB DRAM的B300实现了91%的HBM缓存命中率。而B200在较低并发下仅达到73%的HBM命中率，并依赖DRAM卸载来覆盖近20%的缓存命中。差异不在于架构理念。而在于50%更多的HBM和更大的DRAM池。

DeepSeek V4 Pro的输入序列长度印证了这一点：p50为88,000 token，p95为404,000 token，p99为675,000 token。这些数字在没有缓存卸载的情况下根本无法放入141GB的HBM池中。任何忽视KV缓存管理的硬件策略，都是在优化错误的变量。

英伟达B300之所以在MiniMax M3 432B上胜出，部分原因在于其TensorRT-LLM栈更好地处理了该模型的路由约束。在B200上，带注意力机制的分布式流水线并行（DP-attention）导致首token延迟（TTFT）劣化了超过三倍。当一个30万token的会话落到错误的计算节点时，缓存命中率从理论上的96%暴跌至实际的28.8%。

这不是CUDA的优势。这是软件栈深度的优势。那些在极致模型规模上优化TensorRT-LLM上投入最多精力的厂商赢得此次胜利。目前而言，这是英伟达。但相关开发正在开源社区中进行，而开源不认品牌忠诚度。

无人计价的功耗约束

每兆瓦性能持续出现在AgentX分析中，它足以让任何假设GPU需求与收入线性增长的人感到不安。电力是AI基础设施建设的硬性约束，而非芯片供应。数据中心电力需求预计将逐季增长，而供给受到电网容量、变压器交货周期和审批流程的物理限制。

在特定工作负载上，机架级配置并不像单节点GPU那样具备每美元吞吐量的优势。在MiniMax M3上，B200和B300单机在经TCO归一化的吞吐量上优于其机架级对应方案。“越大越高效"的假设在智能体负载画像面前彻底失效。

对AMD而言，这是一个机会窗口。对英伟达而言，这是一个提醒：CUDA护城河建立在原始算力假设之上，而智能体工作负载已将其证伪。

接下来会发生什么

大约三周后，AgentX更新文章将包含融入了进一步优化的AMD和英伟达最新结果。工作负载画像仍在演进。基准测试将持续迭代。

但已有两点清晰可见：英伟达凭借更成熟的软件栈，在前沿模型上仍保持优势，但差距正在快速收窄。AMD的MI355X在特定模型和延迟区间具有竞争力。软件层——vLLM、SGLang、TensorRT-LLM、AITER——才是真正取得进展的地方，而所有这些都不锁定于CUDA。

CUDA护城河从来不只是硬件问题。它是围绕软件生态构建的护城河。而这个生态正以市场尚未充分定价的速度变得与GPU无关。在下一轮基础设施投资中最有价值的智能体，将是那些构建于开放栈之上的，而非押注硬件独占性的。

实验室已经在企业级智能体推理上的花费超过了消费者聊天场景。硬件赢家将是那些软件栈能高效服务此类流量的厂商。迄今为止，这个名单里包含不以N开头的名字。