technology 7 min de lectura

El Pentágono admitió que la IA mató a niños iraníes

Investigadores del Pentágno descubrieron que el sistema de IA Maven de Palantir contribuyó a un ataque contra una escuela iraní que mató a 123 niños. El reconocimiento marca un punto de inflexión en la supervisión de la IA de defensa.

  • DOJ
  • Unión Europea
  • conversaciones de paz
  • EDGE
  • Palantir

El Pentágono por fin nombró a la máquina

Durante meses, el desastre de Minab estuvo envuelto en la niebla habitual de la guerra: datos de apuntamiento obsoletos, una primera ola de ataques lanzada apresuradamente y una administración dispuesta a culpar a Irán de sus propios errores. La investigación de Bloomberg publicada el viernes cambia los cálculos. Por primera vez, un examen del Pentágono ha identificado explícitamente la sobreconfianza en un sistema de inteligencia artificial como factor contribuyente en un ataque que mató a al menos 123 niños iraníes.

El sistema en cuestión es Maven Smart System, la plataforma de integración de datos y apuntamiento con inteligencia artificial de Palantir. Según funcionarios familiarizados con el informe inédito, los usuarios del Comando Central de EE. UU. confiaron en Maven para detectar contradicciones y marcar registros obsoletos. No lo hizo. El software, en cambio, aceleró una cadena de kill que se ejecutaba con inteligencia defectuosa y plazos apretados, comprimiendo horas de verificación de blancos en minutos.

El complejo de Minab había sido catalogado durante años como una instalación del Cuerpo de Guardias de la Revolución Islámica. Las imágenes satelitales comerciales contaban una historia diferente: paredes de escuela claramente pintadas, una cancha de fútbol, marcas de área de juegos visibles desde al menos 2018. Una analista señal这些desviaciones en 2019. Sus notas aterrizaron en un sistema que nadie en la base de datos de apuntamiento llegó a ver.

Cómo funcionaba el mecanismo

Maven se construyó para hacer lo que sugiere su nombre: más rápido análisis de inteligencia. Esa velocidad se convirtió en una desventaja cuando la administración Trump exigió un ataque abrumador inicial contra más de 1.000 objetivos iraníes en las primeras 24 horas de la guerra contra Irán. El ritmo no dejó espacio para el tipo de verificaciones redundantes que históricamente habían atrapado errores como el que golpeó la escuela primaria Shajarah Tayyebeh el 1 de febrero.

El equipo de mitigación de daños civiles de Centcom —el grupo responsable de revisar objetivos antes de los ataques— se había reducido de diez personas a una. Ningún miembro de ese equipo revisó el sitio de Minab. En todo el Departamento de Defensa, esos equipos habían caído aproximadamente un 90 por ciento, a menos de 20 personas.

Los humanos que hubieran podido detener el ataque simplemente no estaban. Y aquellos que permanecieron depositaron su confianza en un sistema que Palantir nunca ha dicho que podría detectar sus propios fallos.

El escudo de la contratación

La respuesta de Palantir fue rápida y cuidadosa. Un portavoz le dijo a Bloomberg que la compañía no es responsable de la calidad de los datos subyacentes ni de identificar deficiencias en la inteligencia. Dos personas familiarizadas con los contratos de Palantir con el Pentágono confirmaron que el gobierno retiene la responsabilidad primaria de la información alimentada a Maven. La compañía añadió nuevas funciones después del ataque —funcionalidad diseñada para reexaminar la inteligencia subyacente y señalar inconsistencias— y afirma que ya ha detectado algunas anomalías.

Esta es la postura estándar del contratista de defensa: la herramienta es neutral; el operador asume la responsabilidad. Pero el informe de Bloomberg sugiere que la línea entre herramienta y operador se ha vuelto peligrosamente fina. Cuando una plataforma moldea cómo fluye la inteligencia y comprime los plazos de decisión, el ser humano que presiona “aprobar” no está operando libremente. Está operando dentro de un sistema que ya ha filtrado, clasificado y priorizado sus opciones.

El fenómeno no es único de Palantir. Refleja un cambio institucional más amplio en cómo el Pentágono trata la inteligencia artificial: no como un insumo más entre muchos, sino como el sistema nervioso central de las operaciones de apuntamiento. Varios ex oficiales superiores ahora trabajan para Palantir con altos niveles de autorización en la sede de Tampa de Centcom. Ese flujo entre el liderazgo militar y la empresa que escribe el software en el que esos líderes confían plantea preguntas que van más allá de cualquier ataque individual.

El patrón más amplio

El incidente de Minab no es un fallo aislado. Un episodio separado reportado esta semana involucró a un analista de operaciones especiales que usó un chatbot que alucino un buque con bandera china en Medio Oriente transportaba componentes de armas nucleares con destino a Irán. El ejército se preparó para abordar la nave. Retrocedió en el último minuto.

Las fuerzas del orden han visto el mismo patrón. Los sistemas automatizados de reconocimiento facial han llevado a arrestos erróneos en todo el país: un hombre detenido en Florida por un crimen que cometió a 400 millas de distancia, otro arrestado a pesar de estar a 300 millas de la escena. Los cargos fueron desestimados. El daño no.

El hilo común no es que la IA esté fuera de control. Es que los humanos han aprendido a confiar en salidas que no entienden, en contextos donde el error conlleva consecuencias irreversibles. En la policía, el costo es la libertad. En el apuntamiento militar, el costo es la vida.

Qué cambia ahora

Más de 120 demócratas de la Cámara escribieron al secretario de Defensa, Pete Hegseth, en marzo preguntando qué papel jugó Maven en el apuntamiento de Minab. El Pentágono no ha respondido públicamente. Un portavoz confirmó que el incidente permanece bajo investigación y se negó a dar más comentarios. Funcionarios le dijeron a Bloomberg que el informe completo ha estado esencialmente listo durante meses.

Mientras tanto, la Misión Independiente de Determinación de Hechos de las Naciones Unidas sobre Irán concluyó esta semana que el ataque constituye un crimen de guerra: un ataque indiscriminado que se fue “más allá de la simple negligencia”. El informe encontró que Estados Unidos dirigió ataques contra una escuela mientras era consciente de un riesgo sustancial de golpear un objeto civil, actuando temerariamente.

Washington ha rechazado el hallazgo. El presidente Trump le dijo a periodistas en marzo que Irán era responsable del ataque, afirmando que sus municiones son “muy imprecisas”. En una reciente entrevista con Fox News, dijo que nadie podría determinar nunca lo que ocurrió. Un alto funcionario de la administración le dijo a Bloomberg rotundamente: “Estados Unidos no apunta a civiles”.

La brecha entre la evaluación interna del Pentágono y su postura pública es marcada. Los investigadores han nombrado a la máquina. La administración no ha nombrado nada.

La brecha de rendición de cuentas

Lo que hace significativo el caso de Minab no es solo la cifra de muertos ni el contexto de guerra. Es que los propios investigadores del Pentágono han producido un documento que vincula la sobreconfianza en la IA con daños a civiles. Ese reconocimiento, por muy enterrado que esté en un informe inédito, representa un cambio en cómo el establishment de defensa habla sobre las herramientas que ha confiado con decisiones letales.

Las implicaciones legales y políticas se desplegarán lentamente. El Congreso puede exigir respuestas. Las autoridades de contratación pueden enfrentar escrutinio. Pero la pregunta inmediata es más simple: cuando un sistema de IA acelera un proceso que los seres humanos deberían controlar, ¿quién controla la aceleración?

El Pentágono ha pasado el último año haciendo de sistemas como Maven una piedra angular de las operaciones militares. Ha permitido simultáneamente que el personal que revisa esos sistemas colapse un 90 por ciento. El ataque a Minab es el resultado aritmético de ese desequilibrio.

Un portavoz de Palantir dirá que el software funcionó como fue diseñado. Un examen del Pentágono dice que los humanos le confiaron demasiado. Ambas cosas pueden ser verdaderas al mismo tiempo. La pregunta más difícil —si los incentivos de diseño recompensan la velocidad sobre la verificación, si la estructura de contratación aísla a los desarrolladores de consecuencias operacionales, si el marco de supervisión actual es adecuado para sistemas que comprimen horas de deliberación en minutos— permanece sin respuesta.

Los niños de Minab no murieron por un error de software. Murieron porque un sistema que nunca fue diseñado para detectar sus propios errores fue colocado dentro de un proceso que había sido deliberadamente despojado de las personas que podrían haberlo detectado. Los investigadores del Pentágono han nombrado esa falla. La pregunta ahora es si alguien en el poder está dispuesto a actuar sobre ella.