technology 12 分钟阅读

盖茨警告AI误用或致十亿人死亡,研究人员纷纷离开行业

比尔·盖茨警告称,AI滥用可能导致十亿人丧生,而十多名研究人员因存在性风险纷纷辞职,离开领先的AI实验室。精英警示与大规模离职的汇聚,标志着行业内部裂痕的出现。

  • KakaoAI
  • Noam Shazeer
  • Anthropic
  • Facebook
  • 开源权重模型
  • 人类专属岗位
  • 举报行为

来自上方的警告

比尔·盖茨以迄今为止最尖锐的方式提出了这一警告。在9月25日播出的一次NBC《面对压力》访谈中,这位微软联合创始人表示,人工智能现已强大到足以引发可能造成十亿人死亡事件的催化条件。他的关注点并非科幻风格的机器人起义,而是更加现实的问题:敌对行为者利用现有最先进的人工智能工具。

“从未有一种武器,比将最新AI工具交给恶意之人手中更具威力。“盖茨在该访谈报道中说道。他明确反对科技行业长期以来对自我监管的信仰,称任何严肃的人都不应相信它单独依靠就能奏效。考虑到盖茨作为科技行业内部人士的历史——他传统上在节奏和治理问题上对企业领导层保持 deference——这一点尤其具有分量。

盖茨的警告降临在一个本就躁动不安的环境中。同一周,第二则故事正在展开:一波研究人员不断离开全球最具影响力的AI实验室,每个人都 citing 同一个根本性恐惧。这一时刻之所以引人注目,不仅在于离职规模,更在于涉事人员的质量——这些工程师曾是亲手构建那些系统的人,如今却站出来警告它们。

谁离开了,为什么

这一模式悄然积蓄。据《金融时报》报道,过去两年间,超过十二名核心研究人员离开了OpenAI、Anthropic和Google DeepMind。这些离职并非随机。它们有一个共同点:安全机制已落后于模型开发速度的坚定信念。

罗伯特·奥卡拉汉(Robert O’Callaghan)曾在Google DeepMind从事AI芯片设计工具工作,他在9月24日发布了一份公开声明,解释自己的离职原因。他的担忧并非AI本质上邪恶,而是自己的工作正在加速一条他不认为有益人类的轨迹。奥卡拉汉的离职具有额外重要性,因为芯片设计处于整个领域的硬件基础层。优化硅片以实现更快AI训练的人绝非边缘角色——他们在塑造每一次后续能力跃升所依赖的物理基础设施。

“我们团队的最终目标是让AI更便宜、更快,但如今我认为这并不对人类有益。“他这样写道,将这种张力定义为个人伦理矛盾,而非遥远的政策问题。这种框架——个人的、紧迫的、不可调和的——意味深长。这不是来自外部观察者的抽象忧虑。这些人是每天醒来就亲手构建那个他们现在试图阻止的东西的人。

乔什·恩格斯(Josh Engels)曾是DeepMind AI安全团队的一员,现已转至METR,一家独立评估机构。他警告说,AI在未来五年内造成大规模伤害的概率令人真正担忧。同样与METR相关的比拉尔·丘特拜(Bilal Chughtai)发出了类似警报:AI能力正在超越安全控制所需的技术。他们转向METR这一举动意义重大——这代表了从实验室内部向独立评估机构的迁移,是一种结构性转变,反映了更广泛的行业趋势:安全关切正推向独立机构。

雅各布·考克斯(Jacob Cox)于九月初从Anthropic辞职,他的立场更进一步。他将企业向超级智能冲刺的行径称为拿人类生命赌博的举动。考克斯表示,AI研究人员中存在普遍的焦虑,认为未来一两年是决定安全与否的关键时期——这一时间窗口几乎没有容错空间。这个两年窗口是这一切中最令人不安的细节。它表明最接近这项技术的人认为,关键决策正在此时、此刻、实时做出,而没有暂停按钮可供使用。

制度性压力测试

这种担忧并不局限于离职的研究人员。英国AI安全研究所报告称,负责测试最新模型的工作人员正在因压力接受医疗休假并接受心理咨询。这一细节至关重要,因为它揭示了建造者自身并不信任的系统所带来的心理代价。

当被雇佣来让技术更安全的工程师最终需要帮助来应对自己工作的后果时,这是一种结构性信号——而非人员问题。这与冷战期间核武器计划中的情况类似,当时帮助制造原子弹的科学家后来描述了深刻的道德创伤。如今的不同之处在于:与仅限于民族国家的核武器不同,AI工具正以前所未有的速度在全球范围内扩散。

AI安全研究所的压力还指向一个更深层的制度矛盾:这些实验室同时在竞逐构建更强大的系统,并试图确保这些系统不会造成灾难性伤害。承担第二项任务的人与受奖励推动第一项任务的团队并肩工作。只要底层激励机制不变,再多招聘安全人员也无法完全化解这种张力。

这为何超越科技圈

盖茨的"十亿人死亡"数字会招致怀疑。这是一个庞大而刻意为之的震慑性数字。但真正的重要之处不在于算术。而在于两种权威的对齐——一位亿万富翁基于风险投资视角的警告,与实际构建这些系统的人逐一辞职——以及两者同时得出相同结论这一事实。

这在许多国家尚未进入主流政策讨论。美国曾在宏观层面辩论AI安全,有跨党派听证会和机构声明。但内部反抗的深度在专业圈子之外仍被低估。盖茨——他传统上比大多数安全倡导者更倾向创新——如今公开呼吁政府干预,这一事实改变了博弈。它将辩论从边缘推向中心。当大型科技最著名的资本主义辩护者开始重复安全关切时,政策行动的时间窗口便开始偏移。

二级效应已经显现。风险投资机构开始对投资组合公司的安全态势提出更严苛的问题。保险市场正在探查AI部署的责任敞口。部分大学正在重新考虑其AI研究合作。这些都是生态系统开始调整以适应一种可能性的早期信号:AI风险并非推测性担忧,而是实质性威胁。

接下来会发生什么

三种结果都有可能,且彼此并非互斥。

第一,辞职潮将加速。如果考克斯警告的接下来两年确实关键,那么当前这波离职可能只是序曲。留下来的人将面临更艰难的选择——在其工作与道德之间做出取舍。离开的人将需要独立的平台来发声——METR等组织之所以重要,正是因为它们提供了替代性基础设施。但METR及类似团体与问题的规模相比微不足道。它们拥有更多道德权威而非资源,这本身就构成脆弱性:最适合同时发出警报和行动的人,恰恰是最资源匮乏的人。

第二,监管反应要么滞后,要么过度反应。两者都不理想。滞后会让能力默认跑在治理前面。过度反应——粗暴禁令、分裂研究社区的出口管制、或偏袒财力雄厚现有企业的强制规定——可能固化安全倡导者所反对的权力集中。政策制定者面临的挑战在于,AI发展速度快于立法周期。当一项法规起草、辩论并通过时,它所监管的技术已经大幅 advance。这种不对称有利于建设者而非监管者。

第三,行业可能尝试真正的路线修正,但这远非公关所能解决。当高层领导者不再相信自我监管时,自我监管就已经死亡了。有意义的安全生产治理将需要更接近盖茨所阐述的框架:可执行的基准、独立评估、以及适用于所有规模实验室的透明度要求。最难的环节是确保这些标准的合规成本不会高到只有最大玩家才负担得起——那将以安全之名巩固其主导地位。

静默的信号

这一切中最重要的一点,并非盖茨抛出的某个数字,或某封 posted 在线上的辞职信。而是汇聚本身。当机器内部的人和机器外部的人开始在同一个时刻说出同样的话,共识就已经发生了转变。问题在于,任何拥有制度权力的人是否听得足够快。

十亿人死亡是一个假设。 dozen 起离职并非如此。每一位走出OpenAI、Anthropic或DeepMind的人,都带走了机构知识、技术专长,以及对他们所离开的系统的 firsthand 熟悉度。他们的离职是一种无法被忽视的异议形式——因为异议来自外部人时更容易被 dismiss。当它来自确切知道引擎如何运作的人时,它就成为一种不同类型的警告。

留下来的研究者面临的选择越来越窄:从内部更用力地推动、离开并尝试构建替代方案、或接受这条轨迹并希望缓解措施能跟上能力提升。哪条路都不舒服。如此多人已选择第二条路这一事实表明,情绪的天平正在移动,即便公众叙事尚未跟上。