technology 8 分钟阅读

AI误认枪支,学生遭手铐

马里兰州一起联邦诉讼指控,一个人工智能系统曾将一袋多力多滋薯片误判为枪支,导致武装警力介入并对学生实施拘押,造成心理创伤。该案引发人们对在学校部署未经证实的监控技术的紧迫质疑——以及当系统出错时责任由谁承担。

  • KakaoAI
  • 隐私
  • 俄勒冈校园枪击案
  • false positives

四个拿着薯片的孩子。六辆警车。一套无法分辨差异的AI系统。

这是一起联邦诉讼的核心恐怖之处,原告是四名巴尔的摩县高中的现就读或已毕业学生。他们在足球训练结束后等家长接送,坐在野餐桌旁,身边放着一袋多力多滋薯片,这时六辆当地警车亮着警灯停在他们面前。警察拔出武器,学生们举起双手,随后被命令跪下、戴上手铐并接受搜查。

导火索:Omnilert公司的枪_detect_系统发出的警报。该系统通过扫描监控摄像头画面,将一袋玉米片识别为枪支,该公司声称其置信度达到90%。那不是枪支。那是一包零食。

这起发生于去年10月20日的事件,已成为研究在儿童应感到安全的场所部署未经充分验证的AI监控系统有多危险的一个案例研究。但其影响远不止于一所马里兰州的高中。它触及了全国乃至全球范围内对自动化威胁检测的狂热追求的核心——误报的成本以创伤来衡量,而问责机制几乎完全缺失。

系统是如何系统性失效的

诉讼文件描绘的不是一个孤立的故障,而是检测链多个层面连锁失败的画面。

首先,Omnilert的算法错误识别了物体。其次,即使学校工作人员查看录像后判定这是误报,警报仍然持续触发。第三,巴尔的摩县警方以足够的武力和紧迫感回应这一虚假警报,导致武装警员聚集在学校外一群等待的青少年男孩身上。

Omnilert的市场宣传与法律实际发现的結果之间存在巨大差距。该公司宣称其产品能实现"更少的误报",与此同时,马里兰州教育监察长办公室发现,巴尔的摩县公立学校的Omnilert枪检测系统中超过99%的警报都是无需警方出警的误报。

百分之九十九。这不是故障率,这是结构性问题。

现场一名警察据称在离开前低声骂道"他妈的Omnilert"“蠢AI摄像头”——这一幕揭示了一个关键事实。一线人员知道系统出了问题,但孩子们仍须承担后果。

当算法出错时,谁受伤最深

法律诉讼将学生描述为"处于震惊之中,担心自己的生命安危"。当时是高三学生的塔基·艾伦(Taki Allen)告诉记者,他现在不再觉得在校外等车或放学后留在学校是安全的。他如今花钱乘车回家,以规避风险。

弗里达·温菲尔德(Freida Winfield)的儿子基思(Keith)是原告之一,她直言不讳地说:“巴尔的摩县的任何一个孩子都不应该在放学等妈妈来接的时候,面对这样的危险。”

种族平等维度不容忽视。巴尔的摩县有大量黑人学生群体,涉及武装警察响应虚假警报的事件不成比例地影响年轻黑人男性——这正是日常接触中承受严厉执法冲击的人群。代表这些学生的民权律师委员会(Lawyers’ Committee for Civil Rights Under Law)主席戴蒙·休伊特(Damon Hewitt)直截了当地指出:“这些学生不仅被容易发出虚假警报的技术辜负了,也被我们派他们上学时本该保护他们的成年人辜负了。”

休伊特补充道:“迎接他们的不是保护,而是枪口和创伤。情况本可以更糟。”

校长发给其他管理人员的短信——包含哭笑不得的表情符号,且未向学生道歉——又增添了一层讽刺意味。本应保护这些孩子的成年人,将一场创伤事件当作笑话。折磨他们的系统没有收到任何机构的悔意。

为何这件事超越马里兰州本身

巴尔的摩县并非特例。全美学区正以枪支暴力预防为名,投入数百万美元购买AI驱动监控系统。Omnilert的商业模式正是建立在恐惧之上:监控走廊的摄像头可以比人类更快发现威胁,算法能让校园更安全。

但马里兰州的数据显示出相反的情况。当超过99%的警报根本不构成可行动的危险时,你不是在构建安全网——你是在建造一台噪音发生器,每次系统出错就会把武装响应者召唤到充满儿童的场所。这可不是bug。这才是系统的运作方式。

还有第二个加剧的问题:当这类系统在如此规模下产生虚假警报,它会侵蚀学生与本应保护他们的机构之间的信任。它让武装警察出现在年轻人应当感到安全的空间中成为常态。它建立了一个先例——一个孩子因为手拿零食就成了算法错误的受害者。

接下来会发生什么

该诉讼将Omnilert公司、巴尔的摩县教育局、个别警官和学校校长列为被告,指控非法拘留和搜查。诉讼为学生寻求精神损害赔偿及此次遭遇带来的持久心理影响的赔偿。

Omnilert此前曾表示过遗憾。一位发言人告诉《巴尔的摩旗帜报》,公司正在审查这起诉讼,并对他们及其家人经历"极度抱歉"。

真正的问题是,这种遗憾能否转化为问责。如果系统在99%的错误率下仍继续被各部门部署,哪个机构会承担责任?迄今为止的答案似乎是没有——至少不太有。学生们逐一提起诉讼。公司在全球营销。监管者几乎不加监视。

关注AI与公共安全交叉领域的人士应当重视此案。它以生动而痛苦的细节展示了:当你把判断权外包给无法区分一包薯片和武器的机器,然后又让那些应对此类错误的武装人员介入时,会发生什么。