Cuando la IA ve una pistola, los niños son esposados
Una demanda federal en Maryland alega que un sistema de IA confundió una bolsa de Doritos con un arma de fuego, desencadenando una respuesta policial armada que traumatizó a estudiantes. El caso plantea preguntas urgentes sobre el despliegue de tecnología de vigilancia no probada en las escuelas y quién paga cuando falla.
Cuatro niños con bolsas de papas fritas. Seis patrulleras. Un sistema de IA que no pudo distinguir las diferencias.
Ese es el horror central de una demanda federal presentada por cuatro estudiantes actuales y exestudiantes de una escuela secundaria en el condado de Baltimore. Esperaban transporte a casa después de la práctica de fútbol americano, sentados cerca de mesas para picnic con bolsas de Doritos, cuando se acercaron seis patrulleras policiales locales con las luces destellando. Los agentes desenvainaron sus armas. Los estudiantes alzaron las manos. Los ordenaron arrodillarse, los esposaron y registraron.
El detonante: una alerta del sistema Gun Detect de Omnilert, que escaneaba imágenes de cámaras de seguridad y marcaba una bolsa de papas fritas como un arma de fuego con lo que la empresa afirma que es un 90 % de confianza. No era un arma. Era un refrigerio.
Este incidente, ocurrido el 20 de octubre del año pasado, se ha convertido en un estudio de caso sobre todo lo peligroso que representa desplegar sistemas de vigilancia con IA no probada en entornos donde se espera que los niños se sientan seguros. Pero las implicaciones van mucho más allá de una escuela secundaria en Maryland. Tocan el corazón de la carrera nacional y global hacia la detección automatizada de amenazas, donde el costo de una falsa alarma se mide en trauma, y la estructura de rendición de cuentas está casi completamente ausente.
Cómo falló el sistema, de manera sistémica
La demanda pinta un panorama no de un fallo puntual sino de un colapso en cascada a través de múltiples capas de la cadena de detección.
Primero, el algoritmo de Omnilert identificó erróneamente el objeto. Segundo, incluso después de que el personal escolar revisara las grabaciones y determinara que se trataba de un error, la alerta siguió activándose. Tercero, la policía del condado de Baltimore respondió a un positivo falso con suficiente fuerza y urgencia como para que agentes armados convergieran sobre un grupo de adolescentes que esperaban afuera de una escuela.
Hay una brecha notable entre lo que Omnilert promociona y lo que realmente encontró la ley. La compañía promociona su producto como una herramienta que conduce a “menos falsos positivos”. Mientras tanto, la oficina del inspector general de educación de Maryland encontró que más del 99 % de las alertas de Omnilert Gun Detect en las escuelas públicas del condado de Baltimore fueron falsos positivos que no requerían respuesta policial.
El noventa y nueve por ciento. Ese no es un porcentaje de mal funcionamiento. Es estructural.
Un oficial en el lugar supuestamente murmuró “malditas Omnilerts” y “cámaras con IA estúpidas” antes de irse, un momento que capta algo crucial. Las personas en el terreno sabían que el sistema estaba defectuoso. Los estudiantes cargaron con las consecuencias de todas formas.
Quiénes resultan heridos cuando los algoritmos fallan
La demanda describe a los estudiantes como “en shock y temiendo por sus vidas”. Taki Allen, entonces estudiante de segundo año de preparatoria, le dijo a los reporteros que ya no se siente seguro esperando transporte o socializando en la escuela después del horario de clases. Ahora paga viajes a casa para evitar el riesgo.
Freida Winfield, cuya hija Keith es una de las partes demandantes, lo expresó con crudeza: “Ningún niño en el condado de Baltimore debería enfrentar este tipo de peligro mientras espera afuera de su propia escuela el transporte a casa tras su madre”.
La dimensión de equidad racial es imposible de ignorar. El condado de Baltimore tiene una población significativa de estudiantes negros, y los incidentes que involucran a policías armados respondiendo a alarmas falsas afectan desproporcionadamente a jóvenes hombres negros, el mismo Demográfico que soporta el peso de la policía agresiva en encuentros cotidianos. Damon Hewitt, presidente de Lawyers’ Committee for Civil Rights Under Law, que representa a los estudiantes, lo planteó directamente: “Estos estudiantes fueron fracasados no solo por una tecnología propensa a alertas falsas, sino también por los mismos adultos destinados a mantenerlos seguros cuando los enviamos a la escuela”.
Hewitt añadió: “En lugar de esta protección, se encontraron con armas y traumatizados. Y podría haber sido aún peor”.
Los mensajes de texto del director de la escuela a otros administradores —con emojis de risa llorando sobre el incidente, y sin disculpa alguna a los estudiantes— agregan otra capa. Los adultos encargados de proteger a estos niños trataron un evento traumático como broma. El sistema que los flageló no recibió ningún remordimiento institucional.
Por qué esto importa más allá de Maryland
Baltimore County no es una excepción. Los distritos escolares en todo el país están gastando millones en sistemas de vigilancia impulsados por IA bajo la bandera de la prevención de la violencia con armas de fuego. El modelo de Omnilert se vende precisamente sobre este miedo: que las cámaras que vigilan pasillos puedan detectar amenazas más rápido que los humanos, que un algoritmo pueda hacer los campus más seguros.
Pero los datos de Maryland sugieren lo contrario. Cuando más del 99 % de las alertas generan ninguna amenaza accionable, no estás construyendo una red de seguridad —estás construyendo una máquina de ruido que llama a respondedores armados a entornos llenos de niños cada vez que falla. Eso no es un bug. Así es como funciona el sistema.
Y hay un segundo problema, acumulativo: cuando estos sistemas generan alarmas falsas a esta escala, erosionan la confianza entre los estudiantes y las instituciones destinadas a protegerlos. Normalizan la presencia de policías armados en espacios donde los jóvenes deberían sentirse seguros. Crean un precedente donde un niño sosteniendo un refrigerio se convierte en rehén de un error algorítmico.
Qué sucede a continuación
La demanda nombra a Omnilert, la junta escolar del condado de Baltimore, oficiales individuales y al director de la escuela, alegando detención y registro ilegales. Busca daños y perjuicios por el malestar emocional de los estudiantes y el impacto psicológico duradero del encuentro.
Omnilert ha expresado arrepentimiento en declaraciones anteriores. Una portavoz dijo al Baltimore Banner que la empresa está revisando la demanda y estaba “verdaderamente arrepentida por el temor que ellas y sus familias experimentaron”.
La verdadera pregunta es si el arrepentimiento se traduce en responsabilidad. Si el sistema produce falsos positivos a una tasa del 99 % y los departamentos continúan desplegándolo, ¿alguna institución asumirá responsabilidad? La respuesta hasta ahora parece ser no —realmente no. Los estudiantes demandan individualmente. La empresa comercializa globalmente. Los reguladores apenas vigilan.
Este caso debería importar a cualquier persona que siga la intersección entre la IA y la seguridad pública. Demuestra, en detalle vívido y doloroso, lo que ocurre cuando externalizas el juicio a máquinas que no pueden distinguir una bolsa de papas fritas de un arma —y luego armas a los humanos que responden a esos errores.