business 5 min de lectura

La IA Encontró las Grietas en Nuestros Sistemas

Congress heard this week that AI models found so many vulnerabilities in critical infrastructure that rush patches caused cascading failures. The real crisis isn't artificial intelligence breaking things—it's our inability to fix what it uncovers.

  • KakaoAI
  • infraestructura crítica
  • seguridad energética
  • guerra con Irán
  • ciberseguridad

El problema de la velocidad

Algo inusual ocurrió esta semana en Washington. Los directivos generales de bancos y funcionarios de la NSA se presentaron ante el Congreso y no explicaron que un adversario extranjero había vulnerado sus sistemas, sino que habían sido sus propias herramientas defensivas —concretamente, la inteligencia artificial— las causantes del daño.

Ese cambio de responsabilidad importa más de lo que muchos lectores llegarán a comprender.

A lo largo de varios días, Estados Unidos experimentó una serie de fallos en cascada. Más de 20.000 vuelos fueron cancelados a nivel nacional tras una orden de suspensión de la Administración Federal de Aviación. Microsoft Outlook permaneció fuera de línea. Los clientes perdieron acceso a sus cuentas bancarias. Una red de comunicaciones clasificadas de la NSA se degradó. Nada de esto provenía de un hackeo ni de un ataque patrocinado por un Estado.

Provenía de la carrera por parchear las brechas que los modelos de IA acababan de descubrir.

Fuentes al tanto de conversaciones privadas entre funcionarios le dijeron al Washington Sun que los escaneos de vulnerabilidades impulsados por IA identificaron muchas más fallas en las defensas cibernéticas de lo que se sabía anteriormente —y la prisa por sellar esas brechas desbordó a los mismos sistemas que los parches debían proteger.

Estos modelos están identificando vulnerabilidades masivas, y eso aumenta la urgencia por parchear de inmediato. Están intentando aplicar demasiados parches a la vez —más de los que el sistema estaba diseñado para soportar—, señaló un funcionario congressional informado sobre el asunto.

En otras palabras, el motor de detección está corriendo en círculos alrededor del mecanismo de respuesta. Y la brecha entre ambas velocidades es donde habita hoy el punto ciego más peligroso.

¿Quién es realmente responsable?

JP Morgan Chase atribuyó su caída del lunes a errores relacionados con software. La NSA calificó la degradación del martes como “mantenimiento rutinario programado”. Markwayne Mullin, secretario de Seguridad Nacional, lo expresó con menos diplomacia ante CNBC: están empujando nueva tecnología sobre sistemas informáticos realmente antiguos, y simplemente parece desbordar el sistema. Veremos más de esto a medida que se desplieguen nuevas tecnologías.

Fíjese en quién no apareció en ninguna de esas explicaciones: las empresas de IA que construyen las herramientas de escaneo de vulnerabilidades.

El gobierno federal y las principales instituciones financieras han recurrido cada vez más a modelos propietarios de IA entrenados con sus propios datos internos, buscando exactamente ese tipo de debilidades que los actores adversarios aprovecharían. La lógica es sólida en teoría: si puedes encontrar la grieta primero, puedes sellarla antes de que alguien pase un camión por ella. Pero la teoría no contempla la fricción entre el descubrimiento y el despliegue.

Lo que vemos ahora es el costo operativo de esa asimetría. La detección se ha vuelto barata y rápida. La remediación sigue siendo lenta y frágil.

Nathan Calvin, director de estrategia de Encode, planteó el problema estructural con claridad: hay cierto sentido en el que esto es reconfortante, porque significa que no hay un ataque en curso. Pero muestra hasta qué punto la infraestructura crítica para la seguridad en la que confiamos se basa en software con grandes vulnerabilidades en sistemas heredados. Actualizarlos será un proceso accidentado, y a medida que obtengamos modelos más avanzados, esto no será algo de una sola vez: seguiremos encontrando más vulnerabilidades.

Añadió la frase que nadie quiere escuchar pero todos necesitan: a medida que obtengamos modelos más avanzados, esto no será algo de una sola vez.

La paradoja del parche

Hay un incentivo perverso construyéndose en la intersección entre la seguridad de la IA y la infraestructura heredada, y el Congreso no lo nombró directamente, pero el testimonio lo delineó con claridad.

Los modelos de IA escanean en busca de vulnerabilidades. Cuanto mejor sea el modelo, más vulnerabilidades encontrará. Encontrar vulnerabilidades genera presión por parchear de inmediato, porque los adversarios tienen acceso a herramientas de IA comparables. Parchear sistemas heredados de forma rápida introduce inestabilidad. La inestabilidad provoca caídas. Las caídas causan daño político.

Entonces el ciclo se multiplica: cada nueva generación de IA hace la detección más agresiva, lo que fuerza una remediación más rápida, lo que desestabiliza aún más las arquitecturas más antiguas.

Esta no es una cascada hipotética. Las cifras de esta semana ya son escalofriantes. Veinte mil vuelos cancelados. Una plataforma de correo electrónico importante fuera de línea. Redes clasificadas degradadas. Bancos incapaces de atender a sus clientes. Y nada de ello resultado de una acción hostil.

La FAA y Microsoft han ofrecido explicaciones técnicas para sus respectivas interrupciones. Ninguna atribución llega tan lejos como la dinámica subyacente: la presión por avanzar más rápido de lo que la infraestructura puede sostener de manera viable.

Qué sucede a continuación

Varias trayectorias son posibles, y el testimonio ante el Congreso esta semana señala cuáles son aquellas que los legisladores están comenzando a tomar en serio.

Primero, espere preguntas regulatorias sobre la responsabilidad de la IA. Si un sistema automatizado identifica una vulnerabilidad e inicia un flujo de trabajo de parcheo que posteriormente deteriora la producción, ¿quién asume la responsabilidad? ¿El desarrollador del modelo? ¿La institución que lo implementa? ¿Los ingenieros que aprobaron la velocidad de parcheo? Ninguna de esas categorías encaja actualmente de forma cómoda en los marcos de cumplimiento existentes.

Segundo, espere una aceleración en el gasto de modernización. Reemplazar sistemas heredados es costoso, lento y políticamente poco atractivo en comparación con los anuncios de IA. Pero las matemáticas se vuelven imposibles de ignorar. No puedes parchear de manera confiable un edificio que no fue diseñado para soportar peso.

Tercero, y quizás lo más consecuente, espere una reevaluación de cuán agresivamente las instituciones despliegan herramientas de defensa impulsadas por IA contra su propia infraestructura. Hay una razón por la que las fuentes hablaron bajo condición de anonimato: las conversaciones descritas fueron reconocimientos privados que van más allá de lo que cualquier agencia desea dejar constancia oficial. La NSA no respondió a una solicitud de comentario.

La tensión subyacente no está entre humanos y máquinas. Está entre el descubrimiento y la capacidad. Hemos aprendido a encontrar nuestros problemas más rápido de lo que sabemos resolverlos. Esa brecha es donde reside la próxima ronda de riesgo sistémico.

El Congreso escuchó evidencia de esto esta semana. La pregunta es si la audiencia misma se convierte en otro elemento más en la lista de vulnerabilidades identificadas pero aún no parcheadas.