OpenAI 现在成了芯片公司,英伟达应该感到担忧
OpenAI 发布了首款定制推理芯片 "Jalapeño",能效比英伟达系统高出 1.5 到 1.9 倍。这是目前最明确的信号——AI 军备竞赛正向上游延伸,AI 基础设施的垄断格局即将被打破。
OpenAI 刚刚成为了一家硅谷芯片公司
消息在周二发布,大多数网民随手一划就跳过去了。OpenAI 发布了 Jalapeño 的测试成绩——这是其首款自研推理芯片,数字立刻令人瞩目。与英伟达(Nvidia)的 GB200 和 GB300 系统相比——正是这些硬件推动了这一轮 AI 热潮——Jalapeño 每千瓦电力所支撑的 AI 算力高出 1.5 到 1.9 倍,端到端响应延迟低了 1.7 到 3.6 倍。
这不是一个边际改进。这是一家建立在某个基础之上的公司,而现在它打算亲自拆掉那个基础。OpenAI 不再只是一家模型公司,它是一家芯片公司。而这正在改变房间里每一个人的游戏规则。
数据背后的真正含义
OpenAI 通过 SemiAnalysis 的 InferenceX 基准框架进行测试,选取了三款开源模型:GPT-OSS 120B、DeepSeek R1 670B,以及参数规模最大的 Kimi K2.5——达到万亿级别。三者在结果上展现出一致的模式。
使用 GPT-OSS 时,Jalapeño 每千瓦实现了每秒 85,448 个 token 的吞吐量,几乎是 GB200 系统的 44,960 token 的两倍。响应时间从 1.80 秒降至 1.03 秒。而在体量更大的 DeepSeek 和 Kimi 模型上,效率差距进一步拉大。按用户计算的分词解码吞吐——即用户在互动对话期间每秒生成的 token 数——在 Jalapeño 上达到 700,而英伟达参考系统仅为 169。这个指标与 ChatGPT 实际体验直接相关,差距高达 4.1 倍。
OpenAI 反复强调的一个区分,是"计算"与"推理"之间的差异。训练仍是极其昂贵的领域,GPU 目前仍占优势。但推理才是像 OpenAI 这样的公司资金持续流失的地方。每一个通过 ChatGPT 输出的 token 都是一条成本线。电费、散热、数据中心空间——所有这些成本都随需求量线性增长。一款能将单次请求能耗降低一半的推理芯片,不是锦上添花,而是生存层面的优势。
支撑性能的技术架构
Jalapeño 并非一块更快的 GPU。OpenAI 将其作为一个完整的系统来设计——处理器、内存、网络架构和软件栈——全部协同工程,一体化打造。这一选择至关重要,因为推理存在两个截然不同的瓶颈,而通用芯片往往将它们视为同一问题来处理。
预填充阶段(模型处理初始提示词)计算密集;解码阶段(模型逐个 token 流式输出至屏幕)则受内存带宽限制。英伟达的架构针对训练优化,重心偏向算力;而 OpenAI 的 Jalapeño 将重心转向解码路径,让 KV 缓存——存储中间 token 状态的运算记忆体——尽可能靠近实际使用位置,从而大幅减少处理器之间的数据传输。
整个设计冲刺本身也引人注目。OpenAI 称,从初始架构到流片仅用时九个月,并使用 AI 工具加速了设计探索、验证和优化环节。他们甚至在开发过程中部署了自己的 Codex 和 GPT-Astra 系统,在某些注意力机制和 MoE 模块上的执行速度比原始手写实现提升了 1.5 到 1.8 倍。公司正在用自己的 AI 来建造运行自己 AI 的芯片。这个闭环绝非偶然。
对英伟达意味着什么
在过去的两年多时间里,英伟达几乎垄断了 AI 推理市场。每家主流云服务商、每家初创企业、每个研究实验室都在采购 H100 和 H200,然后是 B100 和 B200。这种定价权使其成为全球最具价值的公司之一。而当一个竞争对手打造出性能可量化超越这一整套生态的芯片——恰好出现在推理经济性最关键的节点—— armor 之上便出现了一道裂痕。
这道裂痕可能继续扩大。OpenAI 确认,Jalapeño 的第二代已经处于显著进展阶段,第三代也在积极设计中。这种迭代节奏表明,OpenAI 并不将此视为一次性的实验,而是在规划一条产品路线图。
英伟达并非毫无还手之力。公司仍在交付令人印象深刻的硬件,OpenAI 也明确表示将继续使用英伟达加速器用于训练和推理。但信息再清晰不过:OpenAI 正在多元化供应链,而它选择的硬件,正是针对其耗电最多、成本最高的核心工作负载量身定制的。
更宏大的图景
这个故事从 2023 年就开始铺垫——Anthropic 开始悄悄从谷歌招募 TPU 人才,亚马逊开始向客户出货用于推理的 Graviton 芯片。趋势已非常清晰:承担最大规模 AI 工作负载的公司正在得出同一个结论,即购买他人的芯片是一种战略负担。
OpenAI 这一步之所以影响最为深远,在于其规模。这不是小众玩家在尝试定制硅片,而是 ChatGPT 背后、也是全球使用量最高的 AI 应用的所有者,正式押注于支撑其产品的基础设施。如果 Jalapeño 能在量产规模上兑现承诺,它就会成为一个模板。每一位主流模型开发商都将面临同一个问题:当你能够自建更低成本、更快、完全自主可控的方案时,为什么还要租用推理能力?
部署时间表迫在眉睫。OpenAI 计划在今年晚些时候,在完成生产资质认证和软件硬化后,开始在自有基础设施上部署 Jalapeño。此外,业界还在讨论 2027 年的公开上市计划,这意味着这项硬件战略很快将成为一个更大规模金融叙事的一部分。
与此同时,市场竞争格局仍在演变。DeepSeek 和 Kimi——OpenAI 基准测试所用的两款模型——代表了来自开源阵营的压力,这种压力让专有硬件的优势变得愈发珍贵。OpenAI 不只在造一块芯片,它在为自身业务中最昂贵的那一部分筑起护城河。
接下来会发生什么,取决于英伟达能否快速回应,也取决于其他模型开发商是否会追随 OpenAI 踏上定制芯片之路。但方向已经清晰:在别人的硬件上运行世界上最重要的 AI 的时代正在走向终结,而 OpenAI 刚刚关掉了灯。