technology 8 分钟阅读

日本的AI深度伪造丑闻是每个民主国家的警示

一名男子为日本立宪民主党运营AI生成的虚假女性身份,暴露出所有民主国家当前面临的漏洞。披露法规已无法跟上形势发展。

  • 日本
  • 冲绳
  • 虚假信息
  • 立宪民主党
  • X

那个不存在的账户

2024年6月,一个X(原推特)账户以"中村里步"之名开始发帖,自称与日本立宪民主党(CDP)有关联。头像是一名身穿商务套装的女性。简介中承诺致力于性暴力幸存者权益、育儿支持和农村振兴——这类在社交媒体上极具感染力的政策定位。但观众并不知道,中村里步根本不存在。

该账户发布了详细的怀孕日记,还发了所谓市政政府经验研讨会的照片。5月2日凌晨2点30分,它宣布分娩了一名3620克的女婴。所有这些都是由人工智能生成的。而背后的那个人——记者堀淳于8月19日确认——是一名男性。

到8月中旬,该账户被封禁。立宪民主党东京总部表示困惑和震惊。党方称,该账户持有人是注册党员,但声称对背后的意图一无所知。他们表示,以党的名义使用AI生成的虚构人物"扭曲了民主",这种事本不该发生。实际上,他们要求党在栃木县的支部提出撤除账户并删除AI生成图像的申请。仅此而已。

这起丑闻规模不大,但其结构发人深省。

操作有多容易

创建一个类似中村里步的账户,技术门槛几乎为零。文本生成图像模型可以生成逼真的肖像。大型语言模型可以用流利的日语撰写政策帖文和个人叙事。这个账号模仿了真实活动家的语言风格——创伤见证、政策承诺、亲身经历。它通过一致性和情感细节建立可信度:出生体重、精确的分娩时间、研讨会照片。

这一切都不需要政党机器。也不需要超出订阅一款生成式AI工具和愿意使用虚假身份运营的资源。这个账户背后的男性选择将其与一家主要反对党挂钩,从而获得现成的组织掩护。立宪民主党并未创建它。该党称未授权此事。但该账户使用了该党的名称,而在两个月的时间里,东京总部无人干预。

这一关联与责任之间的落差——正是真正的问题所在。

日本的法律为何已然失效

日本对社交媒体上的政治广告有披露要求。但这些规则是为人类运营的账户和人类撰写的帖文而制定的。它们并未涉及合成身份、AI生成人设或协同虚假行为。世界上没有任何司法管辖区已全面弥合这一空白。

立宪民主党的回应证实了现有制度的不足。该党称将审查其危机管理程序。它要求栃木县支部提出请求。它并未对账户持有人进行纪律处分,后者仍是注册党员。没有宣布内部调查,没有审计一个依附政党的AI人设如何逃脱两个月_detection_,没有公开承诺验证使用党名的账户的真实性。

该党的声明措辞谨慎。它将这一现象称为"本不该发生的事情",并将其与民主的扭曲联系起来。这一表述是准确的。但结构性回应之所以薄弱,是因为这种结构本身从未被设计用来应对此类事件。

超越日本的含义

中村里步的账户并非特例。它是一个模板。

任何能够接触生成式AI的政治行为体,现在都可以制造合成选民。他们可以用虚构的支持者填充评论区。他们可以创建整个AI驱动的人设网络,制造出某种政策、候选人或叙事拥有基层热情的表象。成本很低。规模不受限制。归属问题几乎无法解决。

让这起案件在日本成为新闻,在于捏造的情感质感——怀孕帖子、分娩报告、与性暴力幸存者身份的关联。这一特定选择揭示了某种策略。创造者明白,脆弱信号传递着真实性。亲密的细节比政策立场更快建立信任。这个账户的设计不只是发帖,而是进行一种算法能够以日益提高的保真度模拟的政治共情表演。

这种表演如今已成为可复制的资产。

谁赢,谁输

直接的赢家是那些控制工具的人。AI模型开发者和平台运营商无论内容来源如何都从参与度中获利。平台从能引发反应的账户中获得流量——哪怕是敌意的反应。中村里步账户引发了愤怒,这意味着它获得了曝光。

输家是制度公信力。政党依赖于信任。一旦公众得知某党的名称可以被AI人设借用而毫无察觉,归属认定的标准就会瓦解。合法的支持者可能被dismiss为捏造。真实的批评可能被贴上合成账户的标签。信号与噪声的比例向犬儒主义倾斜。

更深层的输家是公众。当选民无法区分真实选民和AI生成的选民时,代议制民主的基础——即社交媒体上的声音反映的是具有真实利益的真人——将变得不可靠。

接下来会怎样

立宪民主党称将加强其危机管理。这是正确的方向,但远远不够。真正的改革需要:凡使用党名或品牌标识的账户必须强制验证;由独立机构定期对依附政党的账户进行审计;以及公开披露政治传播中的AI使用情况,包括合成身份。

平台负有同等的责任。X的社区笔记系统标注了中村里步账户的怀孕照片,减缓了其传播。但社区笔记是被动响应的、 crowdsourced的、自愿的。它们不是一个治理框架。大规模自动检测合成身份的工具目前尚不可靠。

日本的经历并不独特。类似考验正在降临每个民主国家。问题在于,机构是会在工具超越自身之前建立防线,还是只会发表民主被扭曲的声明,然后希望问题自行消失。

中村里步的账户已被冻结。背后的那名男子仍是党员。规范政治中AI的法律仍未改变。而这个模板,现已为公众所知。