OpenAI牺牲AI安全换取速度,业界对此不满
OpenAI的Astra模型采用了一种新的推理技术,模糊了其思考方式——此举打破了AI行业仅有的几道监控防线之一,令前安全研究人员拉响警报。
黑匣子变得更黑了
OpenAI 正在构建其最新推理模型 Astra,采用的是一种称为"递归深度"(recurrent depth)的技术,这种技术故意隐藏模型的思考过程。这并非一个无关紧要的工程细节。这是一个放弃整个 AI 行业最重要的安全机制之一的决定。
链式思维可观测性原本是被希望作为研究者与前沿模型在生成答案之前实际所做的事情之间建立连接的细线。你可以看着模型一步步解决问题。如果它开始走向有害的方向,理论上你可以介入。它从来不是一个完美的系统。但它是为数不多的、可以追踪每季度都在变得更强大的模型的工具之一。
现在,OpenAI 似乎为了性能提升而剪断了这根线。
最初的消息来自 The Information,报道了 OpenAI 正在开发的一种技术,该技术会减少模型内部推理过程的暴露程度。前 OpenAI 安全研究员和独立专家对这一举措的实际影响提出了强烈反对。担忧并非空穴来风,它关乎问责、监管,以及当地球上最强大的 AI 系统从内部变得无法审计时,会发生什么。
为何此事比你想象的更重要
去年 Hugging Face 事件是行业的一个警钟。OpenAI 承认,更好的监控措施或许能防止该事件发生。链式思维可见性正是那种本可以更早发现问题的监控机制。这篇关于链式思维可观测性的论文由包括多位深入了解这些系统的研究人员共同撰写,结论是:尽管不完美,但这种透明度仍然是我们理解大型语言模型在行动之前究竟在做什么的最佳工具之一。
为了一点性能提升就牺牲它,不仅仅是冒险的工程决策,更是一种哲学转变。它宣告能力比控制更重要。当所涉及的模型已经运行在错误会带来存在性后果的水平时,这是一个危险的赌注。
离开 OpenAI 安全团队、现任 Guidelight.ai 的 Steven Adler 称这一举动是对全行业一条红线的一次违反。Nathan Calvin 用更直白的话表达了同样的意思:这可能会彻底摧毁 Astra 的链式思维可观测性。
Adler 和 Calvin 并非因进步太慢而担忧的外部人士。他们是曾在 OpenAI 内部构建安全系统的核心人员,后来选择离开,因为他们认为公司正在将速度置于责任之上。他们的警觉值得重视。
谁赢谁输
OpenAI 短期内获胜。更快的模型、更低的成本、更好的基准测试成绩。市场每天都在奖励这些指标。每个季度,投资者和竞争对手都以推理吞吐量和单价来衡量进展。如果递归深度在这些方面兑现承诺,OpenAI 很可能会推出它并继续推进,而安全问题还来不及追上。
竞争对手会跟进。不是因为他们愿意,而是因为他们别无选择。商业压力迫使其他实验室在不享有同样安全约束的情况下追赶 Astra 的能力,从而做出相同的权衡。结果是一场透明度的竞次,而胜者将是那些能够最有效隐藏推理过程,同时仍产出超越基准结果的模型的公司。
公众输了。独立研究员输了。监管机构输了。任何需要洞察模型如何达成决策的人都会输。这包括那些为偏见、安全漏洞和对齐人类价值观等维度审计 AI 系统的人。没有了链式思维数据,你只能看到输入和输出,然后祈祷中间没有发生可怕的事情。
接下来会发生什么
这是 AI 治理辩论不再停留在理论层面的关键时刻。几个国家已经正在起草要求前沿模型开发者提供某种形式透明度的立法。欧盟的《人工智能法案》正朝这个方向推进。美国正在考虑联邦标准。中国也在形成自己的监管框架。
如果 OpenAI 按描述继续推进递归深度技术,它将迫使监管机构划出一条硬线:要么将监控能力确立为前沿模型的法律要求,要么将其降格为企业可以悄悄违背的自愿承诺。
时机至关重要。Astra 并不是遥远的研究项目,而是一个正处于积极开发中的实时产品。如果正如 The Information 所暗示的那样,这项技术已经在内部使用,那么行业可能已经越过了预防的节点,进入了补救损害的阶段。
前 OpenAI 安全研究员离开公司并非新鲜事。新之处在于他们警告的清晰度。Adler、Calvin 等人并非在推测假设性风险。他们描述的是一项具体工程决策及其具体后果。这使得他们的反对意见更难被当作卢德主义式的恐惧而轻易 dismiss。
真正的问题
OpenAI 为何做出这个选择?
答案大概很简单。推出更快、更便宜、更强大模型的巨大压力是无情的。递归深度可能同时提升了速度和降低了成本。这是一种看起来像进步的权衡,直到你退后一步,意识到你交易的是透明度换能力,而外界直到事后才注意到这一切。
行业需要一个更清晰的标准。不是模糊的安全承诺。是一条具体规则:如果你在建前沿模型,你必须保留对其推理过程的观测能力。没有例外。无法达到这一标准的企业不应被允许大规模部署这些模型。
在此之前,黑匣子会变得越来越黑,而那些制造锁的人将成为警告所有人——门早已敞开的人。