technology 10 分钟阅读

五角大楼刚刚承认AI造成伊朗儿童死亡

五角大楼调查员发现,Palantir的Maven AI系统促成了一次针对伊朗学校的袭击,导致123名儿童丧生。这一承认标志着国防AI监管的转折点。

  • 美国司法部
  • 欧盟
  • 和平谈判
  • EDGE
  • 乌克兰防务

五角大楼终于点名那台机器

数月来,米纳布灾难一直笼罩在战报迷雾之中——过时的目标数据、仓促发动的首轮打击,以及一个急于将自身失误归咎于伊朗的政府。周五发布的彭博调查改变了这一局面。五角大楼的一份审查报告首次明确指出,过度依赖一个人工智能系统,是导致这场造成至少123名伊朗儿童死亡的袭击事件的促成因素。

涉事系统是Maven智能系统——Palantir公司旗下的一款人工智能驱动的数据整合与目标定位平台。据知情人士透露,美国中央司令部的工作人员信任Maven能够揭示矛盾、标记过时记录。但它没有。相反,该软件加速了一个基于错误情报和压缩时间线运行的杀戮链条,将数小时的目标验证过程压缩到了几分钟。

米纳布建筑群多年来一直被归类为伊斯兰革命卫队的设施。然而商业卫星图像却显示出了不同的景象——清晰可见的学校墙画、足球场、至少从2018年起就能看到的操场标记。一名分析师早在2019年就标记出了这些差异。她的笔记落入了一个从未与目标定位数据库关联的系统之中,无人问津。

机器是如何运转的

Maven的设计初衷正如它的名字所暗示的那样:让情报分析更快。但当特朗普政府要求在伊朗战争前24小时内对1000多个伊朗目标发动压倒性的首轮打击时,这种速度成了累赘。节奏之快,让历史上能够像2月1日沙贾拉·泰贝 elementary 学校被误炸那样抓住错误的冗余检查无处施展。

中央司令部负责减少平民伤害的团队——这个在打击前审查目标的团队——已从十人缩减到一人。该团队中没有一人审查过米纳布地点。在整个国防部范围内,这些团队的人数减少了约90%,不足20人。

本可能阻止这场袭击的人类根本不在线。而那些留下的人,却将一个Palantir从未声称能发现自身缺陷的系统奉为信任对象。

合同商的护盾

Palantir的反应迅速而谨慎。一位发言人对彭博表示,该公司不对基础数据的质量或情报缺陷的识别负责。两名熟悉Palantir五角大楼合同的人士证实,输入Maven的信息的主要责任仍由政府承担。该公司在袭击后推出了新功能——旨在重新审查基础情报并标记不一致之处——并声称已经发现了一些异常。

这是标准国防承包商的态度:工具是中立的;操作者承担全部责任。但彭博的报道表明,工具与操作者之间的界限已经变得极其危险地模糊。当一个平台重塑了情报流动的方式并压缩了决策时间线时,点击"批准"的人类并非自由运作。他们是在一个已经筛选、排序并优先级化的系统内部运作。

这种现象并非Palantir独有。它反映的是五角大楼对待AI的更广泛机构转变——AI不再被视为众多输入之一,而是目标定位行动的中枢神经系统。几名前高级军官如今在为Palantir工作,并在中央司令部坦帕总部拥有高级安全许可。军方领导层与那些他们依赖的软件开发者之间的这条管道,提出了超越任何单一袭击的深层问题。

更大的模式

米纳布事件并非孤立的故障。本周报道的另一事件涉及一名特种作战分析师,他使用的一个聊天机器人 hallucinated(幻觉性地编造出)一艘悬挂中国旗帜的船只载有运往伊朗的核武器部件。军方准备登船检查,但在最后一刻撤回了行动。

执法部门也看到了相同的模式。自动人脸识别系统已在全国范围内导致错误逮捕——一名男子在佛罗里达州因涉嫌400英里外犯下的罪行被拘留,另一人在距现场300英里的地方被捕。指控已被撤销。但伤害并未消散。

共同的主线并非AI失控。而是人类学会了信任他们不理解系统的输出,在这些错误会带来不可逆转后果的情境中。在 policing(执法)中,代价是自由。在军事目标定位中,代价是生命。

现在什么会改变

今年3月,超过120名民主党众议员致信国防部长皮特·赫格塞斯,询问Maven在米纳布目标定位中的作用。五角大楼尚未公开回应。一位发言人确认事件仍在调查中,拒绝进一步评论。官员们告诉彭博,完整报告实质上已完成数月。

与此同时,联合国伊朗独立国际实况调查团本周得出结论,认为此次袭击构成战争罪——一项"超越过失"的无差别攻击。报告发现,美国在明知可能造成平民设施受损的重大风险下,仍然向学校方向发动袭击,行为鲁莽。

华盛顿拒绝了这一结论。特朗普总统在今年3月告诉记者,伊朗对袭击负有责任,声称伊朗的弹药"非常不准确"。在最近接受福克斯新闻采访时,他表示永远不会有人能确定发生了什么。一位高级政府官员直截了当地告诉彭博:“美国不会 targeting(瞄准)平民。”

五角大楼内部评估与其公开立场之间的差距触目惊心。调查人员已经点名了那台机器。政府则什么也没说。

问责的空洞

米纳布案的意义不仅在于死亡人数或战时背景。而在于五角大楼自己的调查人员已经出具了一份文件,将AI过度依赖与平民伤害联系起来。这一承认,无论埋藏在多少未发布的报告中,代表了防务体系谈论其已委托致命决策的工具时的转变。

法律和政策影响将缓慢展开。国会可能会要求答案。合同监管部门可能面临审查。但眼前的实际问题更为简单:当AI系统加速了人类本应控制的过程时,谁来控制这种加速?

五角大楼在过去一年中将Maven这样的系统打造成军事行动的基石。同时却允许审查这些系统的人员编制萎缩90%。米纳布袭击就是这种失衡的算术结果。

Palantir的发言人会说软件按设计运行。五角大楼的审查说人类过度信任了它。两者可以同时成立。更难的问题是——设计激励本身是否奖励速度而非验证,合同结构是否将开发者隔离于操作后果之外,当前的监督框架是否足以应对将数小时审议压缩到几分钟的系统——这些问题依然没有答案。

米纳布的孩子们并非死于软件漏洞。他们死于一个从未设计用来发现自身错误的系统被置入一个刻意剥离了可能发现错误人员的过程之中。五角大楼的调查人员已经点名了这种失败。现在的问题是,权力中的任何人是否愿意据此采取行动。