为何自主武器监管赶不上部署节奏
红十字国际委员会警告,全球距致命性自主武器的不可逆转之点仅数小时之遥。微弱的联合国妥协方案让部署快于治理——乌克兰、加沙和也门的平民伤亡已经证明了危机正在发生。
魔瓶已开
红十字国际委员会通常不会在联合国大会上发出戏剧性的警告。当科杜拉·德雷格博士本周在日内瓦的会谈中开场时直言,在这些武器变得常态化之前就对其加以监管将“困难得多”,她并非在说假设性空话。她描述的是一个移动的目标。
120多个国家结束了会议,得到了人权团体所谓的半吊子成果:一项承诺在未来两年内讨论可能的监管文书的 pledge(保证)。没有具有约束力的承诺。没有在纸上画下的红线。仅仅是一个日程安排,用于辩论是否稍后再划下红线。
红十字会及其盟友认为,这种延误本身就是确切的危险。自主系统已经被部署到战场上。不是原型机。不是演习。在乌克兰实际操作的、具备“最后一公里”自主瞄准能力的武器系统。在加沙使用的AI辅助瞄准数据库。由主要军事强国目前正处于开发中的无人机群。
“我们开始看到人工智能被部署到战场,或许也已经进入武器系统。”德雷格说。措辞很重要。“或许也已经”这一信号表明,即使是红十字会审慎的评估,也尚未确认今天已广泛实行无需人类监督的部署。但从冲突地区的证据来看,情况恰恰相反。
三场冲突,三种伤亡
7月,扎波罗热州三名平民丧生。一架由AI系统引导的俄罗斯无人机未能命中加油站,反而撞上了一堵墙,将弹片溅入人们聚集的喷泉池。该无人机具有半自主性,拥有“最后一公里能力”——意味着它在末端制导中保留了足够的自主权,使人类监督在最后进近阶段实际上已经结束。这种人类规划与机器执行瞄准之间的区别,正是国际人道法难以应对的问题。
加沙产生了另一种案例研究。以色列军队利用AI生成目标数据库,速度是人类分析师无法企及的,将数周的工作压缩至几小时。人权组织表示,这种巨大的工作量导致了错误——平民以及与民兵关联薄弱的人被杀死,因为系统无法可靠地区分意图与邻近关系。
在伊朗,美国的打击 doctrine(学说/理论)与故障的AI来源情报在一所小学相遇,造成156名平民死亡,其中包括120名儿童。究竟是AI生成了情报,还是仅加速了情报并入瞄准循环的过程,这是一个细节,将塑造任何法律框架。两种情景都很危险;前者要求算法问责,后者则要求数据验证标准。
“生命未来”研究所的安娜·海伊警告称,如果当前的轨迹持续下去,大规模伤亡事件“可能远超已经发生的情况”。她的担忧集中在蜂群能力上——数百或数千架自主无人机同时行动。此类系统中一个单一的算法错误会在整个编队中传播。如果被编程为以人类为目标,那么这种错误便成为设计上的灾难性缺陷,而非意外。
扩散问题
对谈判者来说最不便的事实是,自主武器不会止步于国家边界。非国家行为体已经在对其进行编程。
据报道,也门的胡塞运动使用了克劳德这款开放访问的大型语言模型来“氛围编程”弹道导弹——这个词捕捉到了这种做法的非正式性和有效性。非洲萨赫勒地区的伊斯兰武装团体使用了类似工具来改进无人机弹道和操作计划。不需要机密计划。不需要采购合同。只需提示工程与公开可用的训练数据。
这就是为什么红十字会的“红线”焦点既是战略上精确的,又可能是不足的。红线适用于签署条约的国家。它们不能约束能获取与北约军队相同工具的尼日尔民兵或莫桑比克叛乱细胞。扩散风险使得在部署前进行监管不仅是道德上更可取的做法,而且在实践上也刻不容缓。
谁赢,谁输自拖延
两年的讨论窗口有利于目前在无约束条件下运作的制造商和军方。它为实地测试、完善教义以及确立无论最终是否出现条约都会固化为规范的使用模式提供了时间。这是军备控制的反面运作:实践先于禁令,而禁令只能在行为不可逆转后才追上来。
冲突区的平民人口立即遭受损失。每月没有禁止对人员实施自主瞄准的规定,就会增加遭遇算法错误、区分度下降以及蜂群规模暴力伤害的风险。
随着每一年过去,人权组织丧失影响力。自主武器被视为现有科技而非需要限制的类别的时间越长,各国就越倾向于将监管框定为针对已造成伤害的事后反应,而非针对尚未发生的伤害的预防措施。
外交人士阶层获得了较为狭隘的收益:一个即使结果未定也能被呈现为进展的过程。一位资深外交官明确向脉冲通讯社承认,“法律的实质”是次要的,关键是在十三年停滞不前的谈判之后展示政治意愿。这种表述将象征意义置于机制之上。
“监管”在此究竟意味着什么
红十字会对它反对的内容很具体。禁止部署自主武器攻击人员。为武器系统制定可预测的行为标准。硬性限制将使用范围缩小至军事目标。按任何军备控制标准来看,这些都是狭窄的主张——并不呼吁禁止所有自主系统,只是要求在最具危险的应用周围划定界线。
然而,即便这些 modest(适度/温和)的建议也面临结构性阻力。主要军事强国辩称,限制自主瞄准可能会削弱防御系统抵御导弹威胁的能力,因为这些威胁的运行速度太快,超出了人类反应的时限。另一些人则认为,现有的框架——《特定常规武器公约》和《日内瓦公约》的附加议定书——已经涵盖了相关内容。
这两个论点都值得审查,但没有一个完全成立。导弹防御与进攻性自主瞄准并不等同。现有的公约是为平台式武器起草的,而非为算法驱动的决策循环所起草,在后者的循环中,责任分散在程序员、操作员、指挥官和自动系统之间。
下一步是什么
未来两年将决定自主武器是否会追随核武器的轨迹——为不使用国所禁,为拥有国所容——或是追随网络战的轨迹——被公开部署,却没有管制其使用的法律框架。这两条道路之间的差异在于,遏制是否在能力扩散之前就被成文化。
教皇已加入联合国进程。古特雷斯也已发出自己对具约束力文书的呼吁。梵蒂冈的道德权威增加了分量,但不能替代执行机制。如果没有核查条款、合规监测和对违规行为后果的规定,日内瓦产生的任何文书都将类似于早期关于化学和生物武器的条约——普遍受到谴责,却断断续续地被遵守。
红十字会的警告并非自主武器是不可避免的。而是说不采取行动正加速趋向一个阈值,一旦越过,监管将变得困难得多。这个阈值尚未被跨越,但《特定常规武器公约》会议的对话暗示,跨越时刻可能以月计而非以年计。