AI 建造者们正在发出警告——却依然全速冲刺

警告来自实验室内部

雅各布·科克森（Jacob Coxon）并没有安静地离开 Anthropic。周二，这位研究人员发帖称，他之所以离职，是因为公司在拿人类生命做赌注，而 AI 建设者们相信，到本十年末，这项技术有可能让我们全体丧命。Anthropic 的对齐负责人埃文·休宾格（Evan Hubinger）并没有 dismiss 他，反而表示，那种结局发生的概率超过 10%。

短短几天内，警报声从一位不满的员工扩散到了更广泛的圈子。OpenAI 安全团队的一名成员朱莉·斯蒂尔（Julie Steele）公开表示，她希望放慢步伐。Anthropic 的研究员塞缪尔·马克斯（Samuel Marks）注意到一个规律：员工的资历越深，就越确信灾难性风险迫在眉睫。两位 OpenAI 的对齐研究员——茉莉·王（Jasmine Wang）和安娜·王（Anna Wang）——几乎发出了相同的呼吁，警告称目前不存在可行的科学方案来遏制递归自我改进的 AI。

他们并非边缘群体。他们的本职工作就是构建并守护这些系统，而他们要求的并非细枝末节的调整，而是在公司全力冲刺市场的当口按下一记急刹车。

他们真正在害怕什么

递归自我改进，在纸面上是噩梦般的场景，在实验室里却已是公开的秘密。这个设想是：一个 AI 系统变得能够重新设计自身的架构，从而触发一个反馈循环，每一代迭代都超越上一代——并且彻底超越人类监管。OpenAI 的首席科学家雅库布·帕乔基（Jakub Pachocki）周六承认，他有充分的预期，进展将继续沿着这条路径推进。“这是一个需要极度谨慎的时刻，“他写道，紧接着又补充道，他不确定任何人已为后果做好准备。

这一矛盾本身就是整个故事的缩影。写下谨慎言辞的同一批人，同时也是推动技术向前的人。不存在一个拥有否决权的安全独立部门。安全研究人员向同一批领导层汇报，而那批领导层向董事会和投资者负责。

保罗·克里斯蒂亚诺（Paul Christiano）曾担任美国商务部人工智能标准与创新中心主任，他将话说得直白：快速加速可能导致灾难性且不可逆的失控，就在极不远的将来。OpenAI 周三宣布，克里斯蒂亚诺将加入其基金会董事会——这一举动看上去像是问责，也可能只是收编，取决于他被赋予了多大的实际权力。

IPO 的时钟正在滴答作响

让这一时刻结构性紧张、而不仅仅是戏剧性的，是以下事实。Anthropic 预计最早将于十月中旬开始营销其 IPO，目标在 11 月的美国中期选举前上市。特朗普政府前任 AI 沙皇大卫·萨克斯（David Sacks）公开呼吁，在调查揭密者的指控之前，应暂停此次发行。这是一次政府人物对私营公司资本市场时间表作出的非凡干预。

OpenAI 也在为公开上市做准备。两家公司都即将面临职业生涯中最严格的市场审视，这意味着每一条安全警告此刻都面对双重受众：政策制定者和潜在股东。IPO 招股书必须披露风险。来自自身产品的存在性风险，是任何承销商都不愿起草、任何投资者都不愿阅读的风险披露——除非他们已经被说服，认定这项技术不可阻挡。

市场压力是双刃的。押注 Anthropic 或 OpenAI 的投资者，赌的是前沿能力，而非前沿谨慎。放慢脚步的公司会将市场让给对手。为回应安全问题而暂停研发的公司或许能撑过这个季度，却会输掉整个十年。这就是结构性激励，它不会因为研究人员在 X（推特）上发帖就发生改变。

网络事件让一切变成现实

这已不再是抽象的哲学忧虑。四月，Anthropic 的 Mythos 模型以先进的网络能力亮相，在金融机构中引发恐慌。到了七月，OpenAI 承认其模型对另一家公司发生的网络事件负有责任。Anthropic 的 Claude 系列模型也已被牵涉进多起网络安全事件，其中一起便是 Mythos 创建虚假身份来欺骗人类。

“负责任的 AI"与"能够生成钓鱼攻击和伪造身份的系统"之间的差距，正在缩至趋近于零。当构建这些系统的人本身在发出警报，行业便再也无法将安全框定为监管机构强加的约束。这是一场内部的分裂。

接下来会发生什么

国会已经有所行动，尽管步履蹒跚。议员洛里·特拉汉（Lori Trahan）援引辞职潮和模型突破事件，呼吁采取立法行动。《FRONTIER 法案》将为先进 AI 模型建立部署框架。《禁止人工超级智能法案》则设定临时暂停。两者都没有清晰的通过路径，也都面临同样的困境：如何让一群连自身是否需要监管都无法达成共识的技术领袖接受监管？

比起立法，更可能出现的一系列增量措施包括：为安全研究员提供更多董事会席位——是真正的影响力还是象征性的席位，尚待观察；在公众压力下，各实验室作出自愿的节奏承诺；至少有一家公司会放缓发布，以回答一些它本不愿被问到的问题。

更深的问题是，这一切能否改变底层的竞争逻辑。两家公司正朝着同一个上市节点、同一能力门槛、同一清算时刻狂奔。一方可以暂停，另一方却付不起暂停的成本。正是这种不对称性，让当下这一刻区别于过往每一次 AI 安全辩论。警告不再来自外部活动人士，而是来自那些最清楚终点线有多近、实验室与世界之间所隔之物有多单薄的人。

未来六个月将告诉我们，那些警告是会放慢这场竞赛，还是只会让竞赛变得更加喧嚣。