AI巨头齐声警示：超级智能风险迫近

史无前例的 convergence

人工智能领域最具影响力的两位声音几乎在同一时间发出了几乎相同的警告。DeepMind 董事长兼联合创始人 Demis Hassabis 警示了 AI 系统被黑客攻击并被恶意利用的风险。微软首席执行官 Satya Nadella 则走得更远，呼吁人们从根本上不信任 AI。这种重叠并非偶然——这是一个信号，表明那些正在构建这项技术的人看到了我们其他人仍在艰难理解的东西。

在科技行业，这不是一个典型的模式。行业领袖很少会公开质疑他们自己的公司正全力冲刺的轨道。当他们这样做时，意味着表面之下已经发生了某种转变。我们正在见证的，是 AI 行业内部一次罕见的两派共识式警示，它值得通常只留给政治举报人的那种审视。

人们尚未充分讨论的黑客攻击路径

Hassabis 关于黑客攻击的警告尤其值得关注。人们的担忧并非 AI 模型会像电影情节那样突然反抗、转而对抗人类。实际情况要更为具体，而且 arguably 更为危险：恶意行为者可能劫持已经被部署在关键基础设施中的自主 AI 系统。我们谈论的不是五年后的假设场景。这些系统今天就存在。它们正在被整合进电网管理、供应链、金融交易和国防规划中。攻击面巨大且仍在扩大。

从实际层面来考虑其含义。一个被入侵的水处理设施或电力网络的 AI 系统，不需要具备"自我意识"就能造成灾难性损害。它只需要足够自主以执行决策，并且足够与其他系统连接以扩散影响。这一门槛比大多数政策制定者意识到的更近，而日本对此事的报道也凸显了地区参与者已经感受到压力的事实。日本十一座城市报告了灾害警报系统受到干扰，这是一个看似微小的数据点，但仍然说明了基于日益自主的软件所构建的基础设施的脆弱性。

信任赤字

Nadella 呼吁不信任 AI 甚至更加引人注目，因为他来自一家将 AI 作为商业产品销售给市场的公司。微软是 OpenAI 的主要投资者之一，也是 Azure AI 服务的主要提供商。当一家商业模式依赖 AI 普及的首席执行官告诉你不要信任它时，你应该读懂弦外之音。他并非要求你彻底放弃 AI。他是在承认这项技术的发展速度超过了围绕它建立的保护措施的速度，并且能力与控制之间的差距是一个真实且日益扩大的问题。

这是你在企业领袖身上很少看到的诚实。这表明内部的计算可能与公开叙事中稳步、安全的进步相左。微软自身对其 AI 产品漏洞的披露以及大规模运行大型语言模型的安全挑战，应该让任何科技行业从业者暂停脚步。

同步时机的重要性

两条警告在同一次新闻周期中出现的巧合，是最重要的细节。如果只有一位领袖发言而另一位保持沉默，这个故事很可能会被淡化成孤立的担忧。两者结合起来则构成了一个模式。离技术最近的人正在从不同的角度看到同样的危险：一方专注于恶意利用的外部威胁，另一方专注于系统以创造者无法预测或控制的方式行事的内部威胁。

这种趋同呼应了 Yoshua Bengio 和 Geoffrey Hinton 等人士此前提出的关切，他们多年来一直在为 AI 风险敲响警钟。但他们的警告往往被当作边缘研究者的观点而遭到忽视。当最有影响力的 AI 公司的董事长和 CEO 开始说同样的话时，边缘已经走向中心。

治理僵局

日本 headline 指出，国际间在 AI 治理方面的协调仍然是一条困难的道路。这说得轻了。美国、欧盟、中国和日本正在追求从根本上不同的监管路径。美国倾向于轻监管下的行业自我监管。欧盟正通过《人工智能法案》构建全面的立法。中国选择了国家控制和严格的内容治理。日本则走在两者之间，强调有利于创新的政策框架，同时表达对安全的真正关切。

从理论上讲，这些方法并非互不相容。在实践中，它们在每个层面都产生了摩擦。协调 AI 安全测试标准、为自主系统建立可信的验证机制、以及在具有竞争性战略利益的国家之间建立信任，都是巨大的挑战。最投资 AI 扩张的公司如今公开警示风险，这只会让协调更加困难，而不是更容易——因为监管者将指望这些公司来制定规则，而没有人信任它们能自律。

谁受益，谁受损

这一 heightened awareness 的直接受益者是那些倡导更强力 AI 安全研究和监管的团体。类似 AI 安全中心、AI 风险研究倡议组织，以及欧亚各地的类似机构多年来一直在主张，当前的部署速度已经超出了我们的理解能力。它们的声音刚刚获得了重大分量。

受损者则不那么清晰。押注激进 AI 部署的风险投资机构可能面临逆风，因为投资者开始将监管和声誉风险计入成本。在没有健全安全框架的情况下将自主 AI 投入生产的公司将面临越来越严格的审视。在 AI 治理上行动迟缓的政府将感受到缩小差距的压力，而它们可能缺乏专业能力或政治意愿来有效应对。

还有一个无声的失败者：公众叙事。多年来，关于 AI 的主流故事是无可阻挡的进步和经济机遇。这个叙事正在出现裂缝，转向更谨慎的框架将会充满混乱。预计会出现企业防御性增强、将安全关切重新包装为创新障碍的尝试，以及可能一批从当前势头中获益的公司采取战略性沉默。

未来之路

最可能的短期结果不是 AI 开发的停滞，而是 recalibration。公司将加大对安全研究的投入，发布更多风险评估，并游说制定提高竞争对手准入门槛的法规。这是一把双刃剑：这可能意味着真正更安全的系统，也可能意味着以大责任之名巩固最大参与者的主导地位。

中期前景取决于政府能否超越象征性行动。欧盟《人工智能法案》等立法框架是朝正确方向迈出的一步，但实施将决定它们是否有牙齿。美国尚未通过全面的联邦 AI 立法，如果没有它，监管的拼凑局面将继续支离破碎。日本的方案虽然深思熟虑，但尚未产生具有约束力的、其他国家愿意采纳的国际标准。

那个存在主义问题——AI 系统最终是否会超越人类控制——仍然悬而未决。但行业自身领袖发出警报这一事实改变了权衡。它将对话从推测性风险转向已确认的脆弱性，而这一转变既创造了机遇也带来了义务。有效行动的窗口正在收窄，不是因为这项技术明天就会失控，而是因为管理它所需的制度和政治结构是脆弱的，很容易被竞争的经济逻辑所压垮。

接下来会发生什么，将取决于 Hassabis 和 Nadella 的警告是否能转化为行动，还是仅仅成为技术主义者识别了有能力阻止却选择不行动的问题的又一篇章。