technology 8 分钟阅读

伪造数据骗过ChatGPT,却被全网引用

一位研究者创建了一个包含5万页完全虚构数据的网站。七个月后,ChatGPT频繁引用这些内容——甚至连真实研究机构也将它们当作事实引用。这一实验揭示了AI可靠性面临的严峻问题。

  • 生成式AI
  • ChatGPT
  • 幻觉
  • AI可信度
  • 生成式AI
  • 信息完整性

那个不存在的数据

Metehan Yesilyurt 在观察人们与 AI 工具互动时,注意到了一件令人不安的事。面对知识盲区,ChatGPT 并不会说自己不知道。它会去寻找统计数据——任何统计数据——来填补空白。

于是,他设下了一个陷阱。

Yesilyurt 从事 AI 搜索工具开发工作,他购买了域名 stateglobe.com,并用 GPT-4.1 生成了 5 万页虚构的统计数据,内容涵盖 200 个国家的 SEO、内容营销、社交媒体和电子商务。这些数字是在一天内编造出来的,他从没核实过任何一个。

网站承诺提供权威的全球数据,但实际上一无所有。

接下来发生的事

起初,一切看起来都很正常。流量涌入,Google 收录了页面,网站的表现似乎还算合理。随后 Google 推出了搜索算法更新,使自然可见度大幅下降——来自真实用户的展示量跌至每天仅几十次。

Yesilyurt 离开了一段时间,长达七个月。

当他回来时,他发现了一些足以让任何信任 AI 获取事实信息的人感到震惊的事情:机器人流量激增。仅在最近 30 天内,stateglobe.com 就收到了超过 60 万次访问请求。其中约 7.2 万次直接来自 ChatGPT 自身的智能体——标记为"ChatGPT-User"——正在抓取数据以回答用户问题。

在发布调查结果时,该网站已从超过 370 个其他网站获得了链接。这些链接包括来自 Shopify 和其他知名品牌的页面。Yesilyurt 指出,如果 Google 的搜索表现没有崩溃,这个数字很可能还会继续增长。

使用搜索可见度追踪工具,他发现 stateglobe.com 在所有统计数据源中的数据可见度排名第二——位居知名的市场研究公司 Mordor Intelligence 和 Similarweb 之上。

这意味着什么

关于 AI 幻觉的传统警告大致如下:AI 有时会编造内容。这没错,但不完整。Yesilyurt 的实验所揭示的更加令人不安——AI 正在主动选择、检索并引用虚构内容,仿佛它们是合法的资料来源。

这不是 ChatGPT 凭空捏造数字的案例。这是一个机器人刻意爬取了一个充满虚假数据的网站,将其视为可信来源,并在回答用户问题时复述这些数据的案例。然后其他网站开始链接它。接着真正的机构开始引用它。

引用级联才是这里的关键机制。学术论文引用了 stateglobe.com。卡塔尔最大的金融集团在其投资研究中使用了它的数据。一本印度经济学杂志刊登了这些数据。每一次引用都增加了一层看似权威的光环,尽管原始数字从未被任何人核实过。

Yesilyurt 构建了第二个使用真实、有出处统计数据的网站,并观察到相同的模式——AI 流量以相同方式增长。该机制不会在真假之间做出区分,它只区分易获取性与隐蔽性。

AI 如何挑选来源

这一切之所以可行,原因在于 AI 搜索智能体实际上是如何运作的。Yesilyurt 解释说,ChatGPT 在回答问题时并不是简单复制 Google 的前十条结果。它会将用户查询改写为子查询,从搜索来源和缓存中提取候选内容,然后重新排序这些候选项以构建带有引用来源的答案。

这意味着,从一条虚构统计数据到 ChatGPT 中有引用来源的答案,中间要经过多层自主决策。AI 并非被单个劣质页面所欺骗——它是在其检索流程的架构层面被系统性地引向低质量来源的。

Google 搜索排名与 AI 可检索性并非同一回事。一个网站可以对人类搜索者不可见,却对 AI 智能体高度可见。stateglobe.com 直接证明了这一点。

验证缺口

Yesilyurt 的结论直白却未被充分重视。AI 系统在严格的时间和成本约束下运作。它们在设计上就不验证数字准确性——因为这计算成本高且速度慢。来源验证仍然是人类研究人员和写作者的责任,而非机器的职责。

这不是一个可以通过软件更新修复的缺陷。这是这些系统被设计为大规模运作时的结构性局限。

该实验还揭示了一些关于注意力经济的东西。五万页 AI 生成的文本,一天内发布在一个域名上,在 AI 可见度指标上击败了成熟的市场研究公司。内容体量和域名结构对 AI 检索系统的影响比事实准确性更重要——至少在当下如此。

未来将如何发展

stateglobe.com 现在附带了一条声明,说明数据为虚构。但未经标注的引用所造成的损害已经发生,该网站每月仍持续收到数万次 AI 驱动的请求。其他研究者已经复制了该方法的某些部分——发布虚构数据以观察 AI 行为——这表明这不是一次性的好奇现象,而是一个可复现的模式。

更广泛的影响远不止于统计数据。任何可以在可访问网站上发布虚构数据的领域——健康声明、经济预测、科学发现、商业预测——都面临同样的脆弱性。AI 智能体会检索、引用并放大这些内容,而不进行独立验证。

依赖这些工具的人类记者、研究人员和分析师需要像对待论坛上的匿名评论一样对待 AI 来源的数据:值得调查,但不可信任。责任已经转移回了人类一侧的工作流程——而这种转变本就正在进行中,但这个实验清楚地展示了它被利用可以多么轻易。

Yesilyurt 强调,发布虚假内容从来不是目标。该网站是作为实验而构建的。但像这样的实验揭示了结构性弱点,而这些弱点可以被恶意行为者以远比测试假设的研究人员更为刻意的方式加以利用。