technology 7 分钟阅读

韩国媒体正在传播AI存在性风险警告

来自OpenAI、Anthropic、Meta和学术界的22位研究者联名发表了一篇论文,警告AI自动化正在将数年的进步压缩至数月完成。时机与数据均表明,这一警告已从抽象的谨慎转向具体的警报。

  • KakaoAI
  • Noam Shazeer
  • Anthropic
  • Meta
  • Meta
  • existential risk

用数据警示,而非徒增恐惧

多年来,关于人工智能的生存风险警告一直来自哲学家、从事对齐研究的计算机科学家,以及偶尔在《纽约时报》或《金融时报》发表社论的知名人士。论点始终如一:如果我们建造比我们更聪明的系统,就会失去控制。证据却始终薄弱。

来自 OpenAI、Anthropic、微软和 Meta 的二十二名研究人员不再仅凭第一性原理论证。他们正指着数字说话。

这份警告通过剑桥大学 AI 科学与政策项目传达,由包括多伦多大学的杰弗里·辛顿、蒙特利尔大学的约书亚·本希奥、OpenAI 首席科学家雅各布·帕乔基、Anthropic 的杰克·克拉克、微软首席科学官埃里克·霍维茨,以及 Meta AI 研究副总裁孙镱在内的研究人员协调。他们的论文标题为《如果 AI 研发自动化触发智能爆炸?》——引人注目之处不在于结论,而在于证据的具体性。

他们指出,Anthropic 自身的代码库在一月时 AI 署名率还是个位数,到五月已超过百分之八十。由 AI 自主完成的人类监控研发任务从三月的百分之一攀升至次月的百分之二十六。多家实验室报告了类似的轨迹。模式清晰可见:编写 AI 系统的工作正被 AI 自身吸收。

当设计系统的人停止设计系统时,会发生什么?

时间线才是威胁

这篇论文最令人不安的断言并非 AI 将获得意识或变得恶意。而是 AI 生成代码与 AI 驱动改进之间的反馈循环将在数月内,而非数年内,自行完成。

递归自我改进——即 AI 能够重新设计自身架构、测试改进、部署并重复——已不再是推测。研究者认为,如果当前的自动化曲线保持,复杂的 AI 研发项目将在两年内完全自动化。届时,RSI 循环闭合,加速变为指数级。

孙镱告诉《华尔街日报》,人类已达到一个阈值:监控 AI 代理本身需要 AI。仅凭人力无法扩展监督自我连夜重构系统所需的监视。

这是一个实际观察,而非哲学思辨。这意味着问题不在于 AI 会醒来并决定忽视我们,而在于我们将 simply 停止看到它在做什么。

谁在说这很重要

作者名单读起来像 AI 安全运动的谁是谁。辛顿和本希奥被广泛认为是深度学习的先驱。帕乔基和克拉克在构建相关系统的实验室内部工作。霍维茨和孙镱带来了行业高管的视角,他们亲眼目睹自动化曲线日益陡峭。

警告来自内部人士——其雇主从更快开发中获利的人——这一点意义重大。这表明担忧已不再局限于学术批评家或边缘安全研究者。它正进入董事会。

论文的政策建议反映了这一转变。作者呼吁 AI 公司强制报告研发自动化指标,设立类似 NRC 或 OCC 的现场监管机构,制定应对劳动力市场动荡和地缘政治不稳定性的应急计划,以及在安全阈值被突破时暂停或限制研究的机制。

他们认为政策制定者必须立即行动,在窗口关闭之前。

韩国背景增添不多,但时机 Matters

这篇报道的来源是 2026 年 9 月 29 日发布的韩联社新闻文章。框架是韩语的,但实质不是。

警告并非起源于首尔。它起源于剑桥、伦敦、旧金山和蒙特利尔。韩国媒体援引此故事,因为此事具有全球相关性——而且亚洲读者与世界各地读者一样关注相同的自动化曲线。

韩语出版物真正增添的是可见度。生存风险辩论长期以来由英美声音主导。一家韩国主要新闻机构发布的文章表明,担忧正超越其英语基础传播。这很重要。这意味着更多监管者、记者和政治家正以他们理解的语言听到警告。

文章发布于韩国时间凌晨 3:07,暗示紧迫感。这是否是真正的紧迫感还是编辑框架,无从得知。

接下来会发生什么

论文的核心论点很简单:如果 AI 自动化以当前速度继续,人类将在数月内,而非数年内,面临抉择点。届时,唯一的选择可能是停止建造超出我们监控能力的系统。

没有任何政府已据此时间线行动。没有任何监管者提出论文所呼吁的报告要求或现场监督。最接近任何主要司法管辖区的是欧盟和美国的自愿指导——缺乏执行机制的框架。

这正是警告旨在暴露的差距。技术发展快于政策。研究者并非要求暂停,而是要求在桌子消失之前获得席位。

是否有人倾听仍不确定。但警报来自实验室内部——有据可查,而非推测——改变了计算方式。这不再是一个来自外部的警告。它是了解正在建造什么的人发出的警告。

而这应该对每个人都很重要。