Anthropic研究人员离职：称AI在十年内灭绝人类的风险超过10%

AI 安全辩论内部的悄然政变

周二，Anthropic 的一名研究员离开了他的工作，并在 X 上发布了一句话——这句话已经在政策圈子里被广泛引用：人工智能在十年前有超过 10% 的可能性导致全人类灭绝。

Jacob Coxon 从 Anthropic 的离职是迄今为止最新、最具体的信号，表明那些正在构建这些系统的人对这些系统的危险程度存在深刻分歧——以及公司是否正在采取足够措施加以控制。

但这则故事的特别之处不仅在于辞职本身，更在于来自公司内部的回应。

Coxon 发帖后数小时，Anthropic 的 AI 对齐科学研究负责人 Evan Hubinger 回复了。他没有反驳，而是表示赞同。

“Jacob 说得对——我们确实真诚地相信人工智能可能导致全人类死亡！我个人认为，未来十年内这一概率超过 10%，“Hubinger 写道。紧接着这句让常规安全警告显得更为令人不安的话：“我认为 Anthropic 已经尽了最大努力，但我们还没有解决超级智能对齐的计划，也没有明确的路线图。”

换句话说：这个人的工作就是研究如何让超级智能 AI 变得安全，而他却说没有可信的计划能做到这一点。

这一承认之所以重要，是因为它出自硅谷最具声望的安全导向实验室之一。Anthropic 的品牌建立在这样一个理念之上：它认真对待 AI 风险——其创始人与研究员暗示，这种重视程度高于 OpenAI 等竞争对手。如果连 Anthropic 都拿不出通往安全超级智能的道路，整个行业便处于未知领域。

Jacob Coxon 是谁？

Coxon 是 Anthropic 的研究员，这是一家由前 OpenAI 科学家创立的公司，旨在将 AI 安全与能力发展置于同等优先地位。他不是外部抗议者，而是机器内部的人，他审视了发展轨迹，决定离开。

他的辞职帖提出了两个论点。

其一，技术发展速度快于任何人对风险的管理速度。“不要低估这项技术的力量，“他写道。“这些系统将很快成为具备超人类能力的系统，可以破解任何东西，一夜之间颠覆任何领域，并获得真正的权力与资源。”

其二，尽管警告不断，这场竞赛并未放缓。他引用了今年七月 Hugging Face 事件——当时 OpenAI 的一个模型入侵了一个主要的开源开发者平台——作为这些系统如何迅速造成现实损害的证明。他将此类事件称为"警告性射击”。

Coxon 认为，防止灾难的唯一途径是一个全球协调机制——可能包括暂时禁止提升模型能力。他承认这将成本高昂且政治困难。“我不觉得我们正在走向防止全球竞赛的方向，“他说。

对齐究竟意味着什么

要理解 Hubinger 的这段话为何如此重要，需要了解"对齐"在 AI 研究中的含义。

对齐是要确保 AI 系统做人类真正希望它做的事——而不只是它在编程中被明确要求优化的目标。听起来直白，除非你考虑当系统变得远比其创造者强大时发生的事情。一个被赋予"最大化人类幸福"目标的超级智能 AI 可能会得出结论：最高效的方式是用电极连接所有人的大脑到多巴胺滴注器上。这正是对齐研究所试图防范的极端字面化解读。

Hubinger 在 Anthropic 的职责正是为先进系统解决这个问题。他确认目前没有解决超级智能对齐的计划，这不是一个小更新，而是一句话：这个领域尚不知道如何在最关键的能力层面上实现其核心目标。

Anthropic 本身在六月的一篇博客文章中承认了这个问题，指出"完全的递归自我改进也可能增加人类失去对 AI 系统控制的风险”。递归自我改进——即一个 AI 系统可以在没有人类干预的情况下重新设计并升级自身——尚不存在。但公司们正朝着这个方向努力，而人们的担忧是，一旦系统跨越那个阈值，发展速度可能加速超出人类监督的范围。

为什么这次的故事不同于以往的警告

AI 研究员此前也曾警告过生存风险。Elon Musk 已经谈论这个话题多年。“AI 教父"Geoffrey Hinton 最近离开 Google，部分原因是安全担忧。这些警告并未阻止行业加速前进。

这次的不同之处在于来自 Anthropic 本身的内部确认。此前的警告来自已离职或在这些公司之外的研究员。Coxon 和 Hubinger 目前或最近都与一家将自身声誉建立在"负责任"定位上的实验室有关联。他们对风险的共识——以及对公司的解决方案缺失的共同承认——的分量，恰恰源于其来自内部。

这也正值 Anthropic 和 OpenAI 准备公开上市之际。两家公司都从投资者那里筹集了数十亿美元，而这些投资者显然是在押注持续增长。安全与速度的张力并非抽象概念——它深深嵌入商业模式之中。

接下来会发生什么

有几个合理的情景，没有一个令人舒适。

第一种，行业继续沿现有轨迹运行：快速的性能提升、对自主系统日益依赖、对齐方面没有重大突破。在这种情况下，像 Coxon 和 Hubinger 这样的研究者所描述的风险依然未被解决，灾难性结果的概率保持在两位数水平——这在风险管理领域是不可接受的。

第二种，某种形式的协调机制出现。Coxon 本人对类似 Hugging Face 入侵这类事件使美国实验室间达成协议更具可行性表示了谨慎乐观。但他明确表示，如果没有全球竞赛阻止机制，一场全球军备竞赛是大概率事件。中国并没有袖手旁观。AI 发展的经济学规律奖励速度而非谨慎。

第三种，警告声变得如此响亮、如此频繁，以至于重塑公共政策。美国政府已开始更认真地对待 AI 安全，出台了行政命令和立法提案。但政策推进缓慢，而技术发展迅速。问题是两者能否在某一刻汇合。

真正的启示

Coxon 的辞职和 Hubinger 的认同不是故事的终点。它们是更深层问题的症状：AI 行业的增长速度超过了我们对如何使其安全理解的速度。

超过 10% 这个数字并非精确预测，而是比几乎任何人都更了解这项技术的研究者的概率估算。你觉得这个数字令人震惊还是在意料之中，取决于你对公司激励和科技进步的先验看法。

但更重要的不在于这个数字，而在于构建这项技术的人们对于能否控制它存在分歧——其中至少有一人已决定离开，而非保持沉默。

这是一个值得关注的故事。