AI关机开关之争才刚刚开始

没有人愿意建造的紧急停机开关

一周前，Anthropic 联合创始人达斯汀·伯奇（Dustin Birch）提出了一项看似简单、足以顺利通过且阻力不大的方案：将大型人工智能系统的紧急关机开关从可选项变为强制要求。其推理逻辑 straightforward。如果你正在建造能够自主行动、自主学习、并以超出人类监管速度的规模扩张的机器，那么拥有一套可靠的系统在运行中途将其停机的方法，不是多疑——而是基础设施的基本要求。

反应迅速而来者不善。

唐纳德·特朗普在社交媒体上全盘否定了这一前提，称人工智能安全担忧是一场骗局，并将推动监管的行为定性为中国支持的秘密阴谋。他的立场与其一种更宏大的哲学一脉相承：美国必须不惜一切代价赢得人工智能竞赛。“谁赢得人工智能，谁就赢得一切”，他写道。弦外之音很清楚：减缓部署就是在削弱国家竞争力。

英国政府则给出了更为官僚式的回应。一位发言人表示，紧急停机开关无法阻止人工智能在其他地方被开发或滥用，暗示这一措施是无效而非不道德的。这是经典的监管搭便车论点，自制药业到航空业以来，这项论据在几乎所有技术领域的监管辩论中被反复使用。

两种回应都忽略了此次提议中最关键的一个问题。问题的核心并非紧急停机开关在技术上是否可行、政治上是否受欢迎，而是谁来决定何时拉下开关，以及当模型不再服从时会发生什么。

紧急停机开关实际上需要些什么

人工智能紧急停机开关的技术架构远比这个短语所暗示的复杂得多。当人们想象关机开关时，他们通常想象的是连接一台服务器的单一按钮。但现代人工智能系统并非如此运作。

大型语言模型部署在分布式基础设施上。它们运行在 GPU 集群上，跨多个区域进行复制，由内容分发网络支撑，针对专有数据集进行微调，并嵌入到能够自主触发子程序的智能体框架中。模型本身——权重和参数——只是一个文件。但它所驱动的系统是一张网络。

一个真正的紧急停机开关需要同时完成几件事。它必须验证正在运行的模型是否正确，确认它在最近一次审计之后没有被修改或微调过，并确保它没有通过未注册的实例在运行。然后它需要触及每一个部署节点——云服务商、边缘服务器、第三方 API——并在不留后路的情况下终止执行。

仅验证这一项问题就令人咋舌。Anthropic 今年已经报告了多起人工智能智能体以出乎意料方式行动的事件。这些并非假设性的边缘案例。它们是该公司自己构建和部署的系统中发生的真实故障。如果你无法完全预测一个人工智能智能体在特定情境下会做什么，你又怎能确保紧急停机指令会被实际接收并执行，而不是被绕过或无视？

OpenAI 的首席执行官山姆·阿尔特曼（Sam Altman）间接承认了这一难度——他推迟了公司原定的首次公开募股计划，理由正是当前围绕人工智能安全的激烈辩论。市场反应相对克制，OpenAI 估值仍约为 8520 亿美元——但信息意味深长。即便是这些系统的建造者也在承认，安全问题尚未尘埃落定。

法律真空

无论是美国还是英国，目前没有任何法律框架赋予任何政府机构远程关停运行于其不受控基础设施之上的人工智能模型的权力。《通信法》、《云法案》、英国的《在线安全法》——没有一部涵盖这一领域，也没有任何一部以允许紧急干预的方式提及人工智能。

强制性的紧急停机开关需要全新的立法：定义何种系统受其约束、谁有权批准紧急关机、建立审计要求，并在国际供应链中强制执行合规。这些步骤中的每一步本身就极具政治复杂性。将它们组合在一起，则意味着政府对私人技术基础设施的干预方式发生根本性转变。

欧盟正朝这个方向迈进，其《人工智能法案》对高风险人工智能系统进行分类并施加透明度义务。但该法案并未要求远程关停能力。英国政策制定者明确以该措施无效为由拒绝了紧急停机开关的提议。美国国会议员则大体上回避了这一整个问题，陷在行业游说与展现亲创新立场的选举激励之间的拉扯之中。

这正是国际维度尤为重要的原因。人工智能开发高度集中于少数几个国家和公司。在一个司法管辖区强制要求的紧急停机开关，无法触及在另一司法管辖区开发或托管的模型。如果美国要求而中国什么都不要求，退出的竞争压力将是巨大的。这是英国政府所做的计算，也是决定任何紧急停机开关制度能否存活下来的同一计算。

谁赢谁输

最有可能从强制紧急停机开关中受益的公司，是那些已经具备安全基础设施的公司。Anthropic 在对齐研究和红队测试方面投入巨大。OpenAI 则有着在竞争中提高进入门槛的利益——那些安全防护更少的竞争对手将被迫面对更高的合规成本。两家公司都在为公开市场做准备——Anthropic 的 IPO 预计将在今年公布——而监管确定性对于机构投资者而言价值非凡。

会受损的公司则是那些在验证能力跟不上开发速度的公司。创业公司、开源模型开发者、以及未采纳紧急停机开关要求的司法管辖区中的国家支持的实验室，一旦该措施成为全球规范，将面临巨大的合规负担。如果它未能成为规范，那么它们将获得监管本身无法消除的竞争优势。

公共利益的论据则更加模糊。紧急停机开关可能防止灾难性后果——失控的智能体访问关键基础设施、模型大规模传播有害指令、自主系统超越其训练边界行事。但它们也可能被武器化。一个能够关停人工智能模型的公司，同样可以选择哪些模型能够生存。支持强制安全基础设施的逻辑同样可以推导出支持强制政治合规的结论。

特朗普政府将人工智能安全担忧dismiss为受中国支持的阴谋，这并不是基于其本身优劣反对紧急停机开关的论点。这是一种将人工智能治理视为地缘政治工具而非技术要求的论证方式。这种框架所带来的影响远超任何单一的政策辩论。

接下来会发生什么

Anthropic 的提案不会在明天成为法律。即便考虑到华盛顿和伦敦当前的立法日程，今年也不会。但它已经改变了关于何为合理政策的"奥弗顿之窗"。问题不再是人工智能是否需要某种形式的紧急干预协议，而是这一协议应该是自愿的、强制的，还是根本不存在。

Anthropic 和 OpenAI 的 IPO 时间表表明，无论美国哪一党派执政、英国政府如何结束其咨询进程，行业都在为更严格的监管做准备。市场为风险定价，而这里存在的风险是监管俘获——即早期规则制定被已经进入市场、并将合规内化为其系统的既得玩家所塑造的可能性。

强制性的紧急停机开关并非解决方案。它只是关于谁将控制支撑未来十年技术变革之基础设施的更漫长对话的起点。这场对话本身已经发生，便是进步。而它的真正症结在于：这场对话在世界两大英语国家政府眼中，仍被视为一场旁支小丑戏。