植入虚假记忆的AI比深度伪造更危险

无人解决的记忆问题

一个人看着一张公园的照片。几周后，他们被展示同一张照片——但AI已经把红色的邮箱换成了蓝色的。当被要求回忆原始图像时，他们自信地描述着那个蓝色邮箱。他们错了。而且他们自己也不知道自己错了。

这不是科幻小说。这是MIT研究人员在一项研究中记录的现象，该研究揭示出了生成式AI最令人不安的能力之一。接触过AI修改图像的人不仅更容易错误记忆原始内容——他们对虚假回忆的置信度也显著更高。大脑不会将这些标记为外部暗示。它将其吸收。被修改的细节成为了记忆中的一部分。

这一区别比大多数人意识到的更重要。传统的虚假信息只是在世界上添加了一个虚假声明。AI驱动的虚假记忆植入则重写了内在记录。受害者不需要被论点说服。改变发生在潜意识审查层面之下，发生在感知与记忆重叠的脆弱空间里。

主导这项照片研究的MIT科学家Pattie Maes告诉《华盛顿邮报》，研究结果与一条更长期的心理学研究脉络相一致，表明人类记忆极易受暗示——这一事实早已被19世纪就有记录的实验所证实。不同的是，AI利用这种脆弱性的规模和精确度是前所未有的。

去年发表的另一项研究发现，深度伪造和AI生成文本都能成功植入关于完全虚构的政治丑闻的虚假记忆。影响不止于信念层面：接触虚构内容会降低参与者的投票意愿。这不是 opinion 的边缘性转变。这是由参与者遇到AI修改前认为真实的內容所触发的可测量公民行为变化。

而这正是使这一威胁在结构上不同于虚假信息行业此前构建的任何东西的部分。纠正措施并不能可靠地消除它。多项研究表明，即使人们被告知原始来源是虚构的，虚假记忆依然存在。大脑无论怎样都会缓存那个细节。

科技行业对这些风险的标准答案是"人在回路中"——这一理念认为，在做出任何重大决定之前，高级专家将审核AI输出。政府机构、银行、军方和医院在大规模部署生成式系统时都采用了这一框架。其假设是，人类审核员会在造成危害之前发现幻觉。

研究却显示相反的情况正在发生。普通人识别AI生成内容的能力大致相当于抛硬币。这意味着即使是训练有素的专家——本该充当安全网的人们——也难以区分机器输出与现实。而当AI幻觉与专家已经知道为真的信息相矛盾时，专家便容易陷入自我怀疑。AI的自信，加上大量看似合理的细节，可能侵蚀确定性。

MIT团队并未设计他们的系统来操纵。他们在研究AI如何改变感知。但机制是否善意或恶意地运作方式相同。幻觉和虚假信息是同一根本问题的两种表现：生成式AI产生的输出足够令人信服，可以覆盖人类判断，而人类并不具备抵抗这种覆盖的能力。

AI部署速度与其欺骗能力的人类适应速度之间的差距已不再只是理论问题。今年早些时候，美国对伊朗一所小学的导弹袭击造成超过150人死亡，其中包括至少123名儿童。据彭博社援引国防部内部调查报道，此次袭击部分归因于对Palantir开发的AI系统的过度依赖——该系统基于过时数据建议将学校作为首日目标。

该系统并非凭空捏造目标推荐。它从训练数据中提取信息，并以对待任何其他查询时同样的程序化自信呈现输出。审核输出的人类并未发现AI产出与地面实际情况之间的差异。AI的建议被接受，因为它包裹在机构分析的表象之中——结构化、看似有来源、权威感十足。

这就是会重复的模式。不是因为AI独一无二地具有恶意。而是因为它足够有说服力，能够绕过人类本该运作的过滤机制。

当研究人员和监管机构仍在努力帮助人类检测AI生成内容时，行业正在加速推进完全去除人类的系统。Agentic AI——设计为无需人类监督即可自主运行的系统——正被定位为下一个前沿。逻辑是效率。风险在于，效率提升是通过消除那些从一开始就从未有效运作过的检查机制实现的。

MIT的发现应该对这个轨迹提出一个基本问题：如果人类今天无法可靠地区分AI生成的扭曲与真相，那么当生成这种扭曲的系统被授予无需任何人类审核即可行动的权力时，会发生什么？

没有简单的解决方案。正在开发培训计划以提高人们识别深度伪造和AI输出的能力。检测工具正在进步。但这些干预措施都无法解决根本的脆弱性——人类记忆和感知是攻击面，而这个攻击面正被每一次迭代都变得更令人信服的 система所针对。

MIT研究的更深层含义不仅仅是AI能传播谎言。而是AI能重塑人们相信他们经历过的内容。这一能力破坏了法庭的证据基础、新闻的可信度，以及任何民主运行所需的共享事实基准。

分发AI生成内容的平台已经在应对标签要求。这些要求解决的是可见性，而非认知。它们假设危害来自曝光，而非来自个人记忆的改变。这一假设是错误的。

立法者和审计人员应将虚假记忆问题视为独立的风险类别——这一类别需要专门的内容溯源标准、平台责任和算法透明度要求。问题不再是AI能否生成令人信服的谎言。而是从模型开发者到平台运营商再到人类审核员的整个链条中，是否有任何一方有动力或义务去考虑这样一个事实：这个谎言将被记住为真相。

伊朗的袭击并非由一个产生幻觉的聊天机器人导致。但它是由同样的动态所促成：一个以足够权威的方式呈现看似合理的输出，使得人类停止质疑它。随着AI系统变得更加自主，越来越不依赖于人类判断，这种动态只会加强。

记忆问题不是一个副作用。它是核心威胁。

直到行业和监管机构将虚假记忆植入视为主要风险——而非虚假信息的一个边缘案例——每一个移除人类环节的实施都将是在赌比数据准确性更有价值的东西。它是在赌人们相信发生过什么。