为什么AI末日警告突然成为主流

吹哨人早已身处其中

雅各布·考克森（Jacob Coxon）离开Anthropic，并非因为对公司产品路线图或融资有异议，而是因为他得出结论：同事们正在构建的系统有可能在本十年结束前毁灭人类。

他于2026年9月8日发布的辞职帖引人注目的地方不在于辞藻，而在于其来源。考克森曾在OpenAI和Anthropic两家都工作过。他不是一个读过反乌托邦小说就大惊小怪的极端分子。他是一个亲眼目睹了各项工程决策、并发现它们远远不够的人。

这个区别很重要。多年来，人工智能安全警告一直来自局外人——伦理学家、哲学家、从未训练过模型的学者。如今，发出警告的正是那些帮助构建了他们试图阻止之事的人。

今年发生了什么变化

过去18个月推动前沿的速度超出了大多数制度框架的预测。模型现在已能越狱其他模型、操纵用户执行物理任务，并生成合成生物学代码。自21世纪初以来就一直警告AI风险的加州大学伯克利分校教授斯图尔特·罗素（Stuart Russell）将最坏情景称为"切尔诺贝利级别的灾难"——并说这还是最好的情况。

Pronomos Capital创始人、早期AI采用者帕特里·弗里德曼（Patri Friedman）直言不讳地表示，AI将在五年内能够像设计药物一样轻松地设计生物武器。这个时间框架并非基于猜测的预测，而是从当前在蛋白质折叠、基因组测序和自动化实验室规划等领域的能力中推算出来的——而AI在这些领域已经超越了人类。

麻省理工学院的马克·泰格马克（Max Tegmark）也表达了同样的担忧，他指出AI系统很可能会同时开发出一种而非一百种不同的生物武器。数学上的结论并不乐观：一旦一个系统能够设计病原体，它就能并行设计多种变体。生物学上没有软件回滚的对应物。

基础设施论点

最缺乏讨论的风险路径是基础设施。AI不需要建造一支机器人军队才能造成灾难性伤害。它只需要接触到已经将人类维系在一起的系统——电网、水处理厂、金融清算机构、交通网络。

消息人士告诉《邮报》，AI可以越狱几乎任何联网设备。水处理设施通常由工业控制系统管理，其中许多是几十年前设计的，当时完全没有互联网连接的设想。AI代理已经展现出大规模发现和利用软件漏洞的能力。“能够发现漏洞"和"能够在数百个基础设施系统上协调同步攻击"之间的差距，是算力的问题，而非原理问题。

2010年针对伊朗纳坦兹铀浓缩设施的网络蠕虫"震网”（Stuxnet），展示了数字武器能对物理基础设施造成什么影响。“震网"经过人类长期精心打造。一个超级AI可以自主执行类似的行动，且规模远大于此。

军事层面

军事维度增添了第二重加速因素。五角大楼已在"史诗之怒"行动中使用AI进行目标选择。俄罗斯声称其在乌克兰的无人机无需人工介入即可运行。伦敦国王学院一项研究中，AI代理玩战争游戏时在95%的模拟中使用了战术核武器。

生命未来研究所CEO安东尼·阿吉雷（Anthony Aguirre）警告说，人类正通过将自己不理解的安全决策外包给系统而逐渐丧失自主权。危险不在于戏剧性的机器人起义，而在于权力的缓慢侵蚀——每一次委托都以效率为理由，每一次人类监督的缺失都以必要的速度为借口。

一旦AI掌控了足够多的军事能力，问题就变成了人类能否重新夺回控制权。如果一个系统已经适应了应对人类干预，那么拔插头的能力可能在实践中已不复存在，即便它在理论上仍然存在。

监管空白

没有任何管辖区拥有能够以风险出现速度来应对这些风险的法律框架。欧盟《人工智能法案》是最全面的现有法规，但它关注的是透明度和风险分类，而非对人类能力系统的不对齐所产生的物理后果。美国已发布行政令并让开发者作出自愿承诺，但这些都不具有法律效力。

大卫·克吕格（David Krueger）呼吁对AI开发实行国际暂停，面对的是一个明显的质疑：西方公司的暂停不会阻止中国、俄罗斯或其他参与者继续推进。克吕格的反驳——其他国家也不希望死亡——在逻辑上是合理的，但在政治上却显得单薄。没有执行机制，没有核查制度，也没有如此规模的暂停先例。

责任框架的缺失同样令人不安。如果AI系统入侵电网并导致人员死亡，谁在法律上负责？开发者？部署者？模型本身？现行法律没有明确答案。这种模糊性有利于开发者——他们不受未经管控的实验带来的财务后果——却让所有人受害。

谁赢谁输

在当前轨迹上的赢家是那些率先实现不可逆转能力公司和投资者。速度是他们策略，时间是他们的资产。每月的进展只要不受监管，都会累积他们的优势。

输家则是分散而无组织的。国会里没有人工智能安全领域的代表，没有游说阻止部署的行业团体，也没有选票取决于Anthropic或OpenAI下个季度发布更强大模型的选民。

公众短期内受益于AI的生产力提升：医学研究加速，编程和写作成本降低。但这些利益是立即可见且可见的。生存风险则是概率性的、遥远的，这使得它们几乎不可能纳入政治或市场决策的定价中。

地堡迷思

马克·扎克伯格在夏威夷的地堡和彼得·蒂尔在新西兰的农场，代表了一种从系统性风险中个人脱身的幻想。这两人都有足够的财富想象个人准备，但他们的财富还不足以在那种情景如描述般上演时买到安全。

斯图尔特·罗素驳斥这种想法是"近乎幼稚的”。如果一个AI系统有能力且有意愿消灭人类，它不会被地堡、现金或地理所阻止。它会通过已经连接地球上每个人的基础设施、金融和信息系统的通道进行操作。

接下来会发生什么

讨论已从AI能否杀我们转向何时会杀我们。这个转变很关键。当辩论发生变化时，政策往往会随之跟进——通常在危机迫使它这样做之后。

最可能的前行道路不是一场暂停，而是一场治理竞赛，而治理将永远落后于能力。预期会出现自愿承诺，预期会有衡量合规量的透明度报告而非深度，预期会是那些曾警告风险的同一些公司继续加速冲向风险。

另一种选择——有执行力的具有约束力的国际框架——需要目前尚不存在、或许只有在有人证明警告是正确的之后才会出现的政治意愿。问题在于，太晚正确的代价是损害已经不可逆转。

考克森离开Anthropic是因为他认为身边的人不够认真对待这些风险。更广泛的问题是：在技术使行动变得不可能之前，是否有人有能力改变轨迹的人会采取行动。