La alucinación de IA del Pentágono que casi desata una guerra

Un informe falso y cazas despegando

Un chatbot de IA generó un informe que afirmaba que un buque chino en la región transportaba componentes de armas nucleares. El ejército de EE. UU. puso en alerta a los cazas. Soldados armados se prepararon para abordar el barco. Luego, justo antes de lanzar la misión, los analistas revisaron su trabajo y descubrieron que el informe era completamente falso.

Nadie abordó la embarcación. Pero el incidente, reportado por CNN, rozó lo suficiente la catástrofe como para dejar conmocionadas a las fuentes. Una lo describió con crudeza: casi inicia una guerra.

Esto ocurrió en primavera, durante la guerra de Irán, cuando las tensiones ya estaban elevadas. Una identificación errónea de un buque chino cargado con materiales nucleares habría obligado a una respuesta inmediata y catastrófica. El hecho de que se detectara —por humanos que revisaban el trabajo de otros humanos— es suerte, no diseño.

La cronología importa. Según el reporte, un analista en un nivel de “mando especializado” introdujo informes de inteligencia en una herramienta de IA generativa, le pidió analizar el manifiesto de una embarcación y obtuvo como respuesta una conclusión con tono seguro de que el barco transportaba componentes relacionados con el programa de armas nucleares de China. Esa evaluación luego subió en la cadena de mando. No se marcó como especulativa. No se anotó que requería verificación independiente. Se trató como inteligencia de grado operacional que justificaba una operación de abordaje físico.

Que el incidente no escalara más sugiere que los controles tradicionales del ejército aún funcionan: apenas. Un analista senior o comandante, en el último momento posible, hizo una pausa y exigió corroboración. Lo que encontraron no fue nada. Sin imágenes satelitales. Sin inteligencia de señales. Sin confirmación de fuentes humanas. Solo una salida de IA que sonaba plausible porque estaba envuelta en el lenguaje de la autoridad.

El Pentágono quiere que confíes en la IA. No lo hagas.

El secretario de Defensa, Pete Hegseth, ha estado promoviendo entusiastamente la integración de la IA en el ejército. “¡Estados Unidos continuará siendo DOMINANTE en IA!”, publicó una cuenta del Pentágono en X a principios de esta semana. El propio Hegseth dijo en enero que EE. UU. se convertiría en una “fuerza de combate en primera línea de IA en todos los dominios”.

El problema es que no hay evidencia de que alguien haya encontrado realmente qué significa “IA en primera línea” en la práctica. En enero, el Pentágono publicó su “Estrategia de Aceleración de la IA”: un documento vago que menciona “Swarm Forge” y “Redes de Agentes”, pero ofrece poca explicación concreta de cómo los modelos de lenguaje grandes encajarían en operaciones de combate reales. La estrategia parece una hoja de ruta tecnológica vestida de jerga militar, llena de ambición y escasa en arquitectura.

El reporte de CNN sugiere que, en este caso particular, un analista le pidió a un chatbot que analizara informes de inteligencia sobre el manifiesto de un barco. Según se informa, la salida del chatbot era un mosaico de información de fuentes abiertas y inteligencia gubernamental reservada, produciendo una conclusión defectuosa sobre la carga. La herramienta específica no se identifica, aunque el ejército ha experimentado con varios sistemas de IA generativa.

Este no es un fallo de una sola herramienta. Es un fallo de un sistema que trata las salidas de la IA como lo suficientemente confiables para informar acciones militares sin infraestructura de verificación adecuada. El chatbot no mintió intencionalmente. Hizo exactamente lo que estos sistemas están diseñados para hacer: generar texto que se ajusta al patrón de una evaluación de inteligencia. El problema es que el reconocimiento de patrones no es búsqueda de verdad.

Arrastrándolo todo

En abril, un alto funcionario del Pentágono le dijo a DefenseScoop que el departamento de Hegseth estaba “arrasando, como decimos, todo en GenAI.mil”. Esa frase capta algo importante. Esta no es una adopción medida ni deliberada. Esto es empujar herramientas de IA a cada flujo de trabajo disponible porque el liderazgo quiere parecer decidido.

El proceso de adquisición del ejército ha sido históricamente lento, dolorosamente lento. La tecnología de IA ha sorteado efectivamente esa barrera. Estas herramientas ahora se están insertando en los flujos de trabajo del Pentágono más rápido de lo que cualquier revisión de seguridad, cualquier protocolo de prueba, cualquier evaluación honesta de sus limitaciones podría acompanhar. El resultado es una situación en la que un sistema de IA generativa, el tipo de herramienta que miles de civiles usan con tranquilidad, se le pide sintetizar inteligencia clasificada y producir evaluaciones de grado operacional.

El reporte de CNN parece ser uno de los primeros casos importantes documentados en los que un error de este tipo llegó al punto en que soldados humanos se preparaban para una operación militar diplomáticamente sensible. Ese es el umbral que importa. No un chatbot fallando en un cuestionario. No un algoritmo de contratación sesgado. Armas reales. Equipos de abordaje reales. Riesgo real de guerra.

El problema estructural

Lo que hace peligroso este incidente no es la alucinación específica. Es la estructura que revela. Cuando un analista en un nivel de “mando especializado” está usando un chatbot de grado consumidor para sintetizar inteligencia clasificada y producir informes operativos, algo ha ido fundamentalmente mal en la cadena de revisión.

El Pentágono revisó su trabajo esta vez. Nadie resultó herido. El buque chino no fue abordado. Los cazas aterrizaron. Pero en un ejército de IA en primera línea, cada decisión futura que dependa de una evaluación generada por IA se convierte en una apuesta. El sistema no está diseñado para detectar errores. Está diseñado para generar confianza en salidas que pueden estar completamente fabricadas.

Los riesgos van mucho más allá de un solo informe falso sobre un solo barco. Los sistemas de IA en el ejército se usarán cada vez más para objetivos, evaluación de amenazas, síntesis de inteligencia y planificación operacional. Cada aplicación conlleva el mismo riesgo fundamental: el modelo suena autoritativo mientras produce basura. Cuanto más compleja y de alto riesgo sea la decisión, más difícil se vuelve para cualquier humano verificar si la conclusión de una IA está fundamentada en la realidad o ensamblada a partir de patrones y plausibilidad.

También existe un segundo peligro que este incidente ilumina: la normalización de la inteligencia generada por IA en las cadenas de decisión. Una vez que los comandantes y operadores se acostumbran a recibir evaluaciones sintetizadas por IA, la barra para la verificación bajará en silencio. ¿Por qué pasar horas contrastando imágenes satelitales cuando un chatbot puede entregar un análisis estructurado en segundos? La ganancia de eficiencia es real. El costo epistémico no se está midiendo.

El impulso institucional

Lo que sucede a continuación depende de si este incidente desencadena una reflexión institucional o se absorbe en la narrativa más amplia de la inevitabilidad de la IA. La postura actual del Pentágono favorece lo segundo. Hegseth no ha mostrado ningún signo de frenar su retórica. La Estrategia de Aceleración de la IA permanece en vigor. El arrasamiento continúa.

Pero hay señales tempranas de que el incidente puede haber agitado a personas que no eran públicas con sus preocupaciones. Fuentes familiarizadas con el reporte lo describieron como “algo muy aterrador”, un lenguaje que sugiere un reconocimiento interno del riesgo incluso si la postura pública permanece sin cambios. Esa brecha entre la inquietud privada y el entusiasmo público es en sí misma un problema estructural: significa que el ejército continúa desplegando herramientas que no comprende plenamente y que no critica abiertamente.

El precedente establecido por este incidente también es significativo. Si una alucinación de IA sobre un buque chino cargado con componentes nucleares puede llegar al punto de planificación operacional durante un conflicto activo, ¿qué evita que una alucinación similar desencadene una escalada en un contexto diferente? ¿Qué impide que una IA malinterprete una señal diplomática, fabrique evidencia de intenciones hostiles o genere una evaluación de amenaza tan alarmante que fuerce una respuesta militar?

Qué sigue

No hay indicios de que el Pentágono haya reducido su despliegue de IA en respuesta a este incidente. La retórica de Hegseth no ha cambiado. Los documentos de estrategia permanecen vagos. El arrasamiento continúa.

Lo que se necesita no es menos innovación. Es responsabilidad. El ejército debe establecer protocolos claros para cuándo la inteligencia generada por IA puede ingresar a las cadenas de decisión, qué pasos de verificación son requeridos antes de que cualquier salida de IA influya en la planificación operacional, y quién es responsable cuando esos protocolos fallan. Ahora mismo, no hay una respuesta coherente a ninguna de esas preguntas.

Un protocolo funcional se vería así: las evaluaciones generadas por IA pueden informar el análisis pero no pueden servir como inteligencia primaria. Cualquier plan operacional basado en síntesis de IA requiere corroboración independiente de fuentes de inteligencia tradicionales —imágenes satelitales, fuentes humanas, inteligencia de señales—. La carga de la verificación recae en la persona que presenta la salida de IA, no en la que la recibe. Y cada incidente como este debe documentarse formalmente, revisarse y utilizarse para endurecer las normas.

Hasta entonces, cada despliegue de una herramienta de IA en un flujo de trabajo militar es una tirada de dados —y las apuestas siguen subiendo—. La diferencia entre este incidente y una guerra real no es una política. No es una salvaguarda. Es la posibilidad de que alguien al final de la cadena pensara preguntar: “¿Cómo sabemos que esto es cierto?” Esa pregunta debería estar integrada en el sistema. Ahora mismo, no lo está.