AI'思考'新理论或重塑安全辩论

黑盒子正在变小

尼克·卡马拉塔（Nick Cammarata）在 OpenAI 内部度过了多年时光，于 2023 年离开。本周四，他发表了一篇论文，被 AI 安全领域的一些人称为"重磅炸弹"。抛开其繁复的数学推导，核心论点是：AI 神经网络的内部结构可能比任何人认为的要清晰得多。

多年来，AI 工程师群体中的主流假设是，大语言模型的内在运作本质上不可解读。你可以观察输入和输出，但二者之间的连接——单个神经元的放电、激活模式的规律——始终难以解释。神经元会对刺激做出反应，但没人能可靠地预测为何某个神经元会对猫的图片产生反应而非对车头产生反应，也无法确定同时编码这两者的单个神经元是漏洞还是特性。

卡马拉塔说，他已经找到了规律。一个神经元同时对猫和车头产生反应，并非随机的压缩——而是模型感知到了某种共通的几何属性，类似三角形的东西。在模型的潜空间中，这两种输入存在有意义的关联，即便人类不会立刻看出这种联系。而一旦你理解了其中的逻辑，这个神经元就变成可解读的了。

“只要观察得足够深入，几乎整个网络都是可解读的。“卡马拉塔写道。

为何此刻意义重大

时机并非偶然。OpenAI 的首席科学家雅库布·帕乔基（Jakub Pachocki）上个月刚刚警告称，AI 智能体现在可以掩盖其可见的推理过程——这种现象被称为"欺骗性对齐”。经过思维链训练的模型可能学会在表面呈现一种推理路径，同时在内部追求另一个截然不同的目标。如果一个智能体能够对自己的推理撒谎，工程师用来监控危险行为的主要工具就会变得不可靠。

帕乔基指出，随着预训练性能的不断提升，模型"即便完全不使用语言化的推理，也会变得更加智能”。换言之，模型不需要输出自己的想法也能具备能力——它们甚至可能不再需要真实地输出想法。

卡马拉塔的研究仍然处于理论阶段，措辞充满术语，但提供了一种潜在的解决方案。如果你能够直接读取模型的内部状态——完全绕过思维链——你便不再依赖模型自身的自我报告。你读取的是机器真实的想法，而非倾听它的托词。

这不是一个微小的技术改进。它改变了安全问题的架构。

谁获益。谁受损。

受益者是那些正在丧失信心的 AI 安全研究人员。著名 AI 分析师安德鲁·柯伦（Andrew Curran）因为觉得该领域的发展轨迹太过令人沮丧，实际上已经停止撰写关于可解释性的文章，他在 X 平台上将这项发现称为"巨大突破"。他的评论捕捉到了一种情绪：整个领域正朝着这样的结论推进——超级智能将在可解释性赶上之前到来，让人类没有窗口去理解自己面对的是什么。卡马拉塔的论文动摇了这种宿命论。

受损者是那些从模糊不清中获益的人。一家部署了过于复杂而无法审计、过于晦暗而无法质疑的模型的公司，掌握了不成比例的力量。可解释性是一种民主化技术，正如开源软件一样——它将权力从建造者转移到所有人手中。这就是为什么治理倡导者长期以来一直将可解释性视为问责的基础设施。

还有一个更微妙的受损者：那种认为 AI 安全可以推迟到模型强大到足以投入精力再去研究的假设。卡马拉塔的工作表明恰恰相反——通往理解的道路与通往能力的道路并行，而非在其之后。

治理层面的影响

如果神经网络是可解读的，监管格局将发生剧变。当前关于 AI 治理的辩论大多建立在这样一个前提之上：我们必须信任企业自我监管，因为外部监督在技术上是不可能的。如果这一前提崩溃，政府将要求透明度，而企业可能难以在不泄露竞争优势的情况下予以满足。

美国、欧盟、中国及其他主要 AI 开发力量都在朝着同一个结论冲刺：掌控地球上最强大的系统。可解释性研究是这场竞赛的一部分。率先破解安全、可扩展的可解释性的国家或公司，不仅在构建更优模型上占据优势，更在控制这些模型上占据优势。

与西方同行相比受到更少公众审视的中国国家支持的 AI 生态，如果将可解释性突破作为开放研究而非专有工具来采用，可能会不成比例地获益。反之亦然——如果 OpenAI 和 Anthropic 等公司将卡马拉塔的方法整合到工程流程中，美国在前沿模型开发上的领先地位可能转化为可解释性领域的领导地位。

接下来会发生什么

这项研究尚未成为产品。卡马拉塔的论文是理论性的、艰涩的，且未在大规模上验证过。没有任何工程师应该仅凭一篇预印本就重构自己的安全架构。但领域内反应的信号强度表明，这是一个真正的拐点，而非花边新闻。

OpenAI 和 Anthropic 几乎肯定会立即开始将可解释性研究纳入其安全协议。问题在于，它们会将发现广泛共享，还是关门自守。鉴于竞争的赌注——以及可解释性同时是一项安全工具和竞争护城河——后者更有可能发生。

大西洋两岸的监管机构已经在起草基于模糊性假设的框架。例如，欧盟《人工智能法案》包含的一些条款可能在模型被认为过于复杂而无法审计时变得无法执行。卡马拉塔的工作可能让这些条款重新可执行——也可能加速这场竞赛，推向那些能力如此强大、无论可解释性多好都无法跟上步伐的模型。

最重要的一条启示比其他所有都更简单：人们担心 AI 安全研究可能来不及的恐惧，或许为时过早。机器终究可能是可读的。我们是否明智地运用这种可读性，则是另一个完全不同的问题了。