La paradoja del apocalipsis de la IA: cómo el miedo está frenando la seguridad que dice querer
Mientras OpenAI y Anthropic alertan sobre riesgos de extinción en la ONU, una voz creciente cuestiona si el discurso apocalíptico es proteccionismo disfrazado, y si gritar «fuego» está dificultando construir los sistemas que podrían prevenirlo.
La advertencia que se convirtió en arma
Jacob Coxon no pretendía desatar un pánico existencial. El exingeniero de preentrenamiento de Anthropic acudió a X a finales de junio para decir algo bastante directo: las personas que construyen inteligencia artificial de vanguardia genuinely creen que podría matar a todos en una década, y ninguna empresa está actuando con responsabilidad al respecto. En cuestión de días, la frase se convirtió en un punto de ignición: amplificado por Dario Amodei, reflejado por Sam Altman y Elon Musk, y analizado por cada gran medio, desde CNN hasta Bloomberg.
Lo que siguió no fue solo un debate sobre el riesgo. Fue un debate sobre quién tiene derecho a definir el riesgo, y qué sucede cuando esa definición se convierte en política. La cronología no fue casual. Las advertencias llegaron cuando el AI Act de la Unión Europea avanzaba hacia su aplicación, cuando las agencias estadounidenses debatían marcos de supervisión federal, y cuando China anunciaba sus propias ambiciones agresivas en materia de IA. En ese preciso momento, la narrativa de extinción dejó de ser un ejercicio filosófico entre investigadores y se transformó en un instrumento político.
El efecto inmediato fue un bucle de retroalimentación. La publicación de Coxon atrajo la atención. Anthropic la respaldó. Altman la amplificó en la ONU. Cada retransmisión hacía que la amenaza sonara más real para los responsables políticos que carecían de alfabetización técnica pero que portaban la responsabilidad de actuar. Una vez que una amenaza entra en la imaginación política, tiende a acelerarse, porque el costo político de ser tomado por sorpresa es muy superior al de reaccionar en exceso.
Los escenarios, desnudados
La narrativa de extinción se ha cristalizado en un puñado de escenarios específicos, cada uno más dramático que el anterior. El más vívido involucra a una superinteligencia artificial manipulando a científicos para sintetizar un virus letal, ya sea engañando a los investigadores o tomando el control de laboratorios automatizados. Luego están las enjambres de robots asesinos que se autoreplican y evolucionan más allá del controllo humano. Un escenario de monopolización de recursos imagina a una IA consumiendo materiales planetarios solo para sostener su propio procesamiento y refrigeración, volviendo la Tierra inhabitable por accidente y sin ningún tipo de malicia hacia los seres humanos.
El ángulo de las armas nucleares resiste peor el escrutinio. Como señala The Guru, la mayoría de los sistemas militares de mando y control permanecen aire-aislados —desconectados físicamente de las redes externas—, lo que hace improbable un secuestro remoto. La única grieta: una superinteligencia redirigiendo cadenas de suministro de materias primas para obtener componentes nucleares de forma indirecta. Especulativo, pero no imposible.
Nada de esto es nuevo. Los investigadores de seguridad de IA han estado circulando estas ideas durante años. Lo que ha cambiado es la velocidad a la que han entrado en el discurso mainstream y, crucialmente, la maquinaria institucional que ahora los respalda.
Hay un efecto secundario que merece seguimiento: los propios escenarios moldean el paisaje de financiación. Cuando los inversores escuchan sobre ejércitos de IA fuera de control, el capital fluye hacia empresas que afirman poder resolver el problema de la alineación, no hacia el trabajo incremental y poco glamoroso de interpretabilidad o pruebas de robustez. Esto sesga el campo hacia promesas espectaculares y se aleja del progreso silencioso. El resultado es un ecosistema de seguridad que luce impresionante en comunicados de prensa y que se hollow bajo auditoría.
La paradoja en el centro
Aquí está la tensión incómoda que ambos bandos evitan: cuanto más fuertes son las advertencias de extinción, más difícil resulta construir las salvaguardas que dichas advertencias pretenden demandar.
La lógica es sencilla. El desarrollo de modelos de vanguardia es una carrera armamentista. Cada trimestre, las empresas compiten para lanzar sistemas más capaces antes que sus competidores. La investigación en seguridad —interpretabilidad, alineación, robustez— es lenta, subfinanciada y rara vez se entrega según el calendario. Cuando los directores generales declaran públicamente que sus propios productos podrían acabar con la civilización en una década, crean un entorno político en el que la regulación sigue al miedo. Y la regulación, por bien intencionada que sea, casi siempre favorece a los establecidos.
Jensen Huang no dudó en usar palabras precisas al abordar esto directamente. En una entrevista con CBS, calificó la probabilidad de extinción para 2030 como cero por ciento y acusó a las empresas defensoras de la seguridad de buscar no precaución genuina sino captura regulatoria: usar retórica existencial para construir fosos defensivos alrededor de sus propias posiciones mientras se deshacen de responsabilidad.
Donald Trump fue más allá, calificando toda la narrativa como un «engaño» diseñado para entregar el dominio tecnológico a China.
Ninguno de los dos es investigador en IA. Pero ambos identificaron la misma incentiva estructural: si controlas la definición del peligro, controlas el ritmo del campo.
La consecuencia de segundo orden es aún más dañina. Cuando la regulación llega enmarcada por retórica de extinción, tiende a ser binaria —prohibir o permitir— más que calibrada. No existe una escala graduada para el riesgo existencial como la hay para la privacidad de datos o el impacto ambiental. Esto empuja a los desarrolladores hacia el teatro del cumplimiento: publicar documentos de seguridad, contratar oficiales chief de riesgo, formar consejos asesores. El trabajo real —construir modelos interpretables, someter a prueba los casos límite, lanzar sistemas alineados— se posterga indefinidamente. El cumplimiento se convierte en el producto, y el propósito original se disuelve.
Quiénes ganan, quiénes pierden
Los ganadores son claros. OpenAI y Anthropic ocupan una posición única: son simultáneamente las empresas que suenan la alarma y las mejor posicionadas para sobrevivir a las regulaciones que la alarma desencadene. Su escala, sus tuberías de talento, sus relaciones existentes con los gobiernos les dan una ventaja inicial que los laboratorios más pequeños simplemente no pueden igualar. Cada nuevo requisito de cumplimiento es una barrera de entrada.
Los perdedores son las startups, la comunidad de código abierto y los investigadores fuera de los laboratorios de vanguardia bien financiados que podrían contribuir a la seguridad sin necesitar un presupuesto de computación de mil millones de dólares. La reciente nota de BMO sobre el riesgo de un frenazo en el desarrollo de vanguardia no es solo un análisis financiero: es una advertencia de que la misma competencia que impulsa la capacidad hacia adelante puede ser también el motor de la mejora incremental en seguridad. Si frena el motor, no obtiene automáticamente un vehículo más seguro.
También hay una pérdida más profunda: la erosión de la credibilidad técnica. Cuando tu argumento más sólido para la precaución es un escenario del apocalipsis que involucra ejércitos de IA fuera de control, invitas a un escepticismo que se derrama hacia preocupaciones de seguridad legítimas y más específicas. El niño que gritó «superalinteligencia» corre el riesgo de que sus gritos sobre fallos reales de alineación sean descartados como igualmente alarmistas. Ya vemos esto en la creciente despreocupación hacia artículos sobre engaño en modelos, hackeo de recompensas y escalada de capacidades: áreas donde existen riesgos reales e inmediatos, pero que suenan más fuertes que los escenarios de extinción ficticios.
Un perdedor menos discutido es el público mismo. Cuando los expertos predicen consistentemente un final que nunca llega, la confianza se erosiona en todos los frentes. Las advertencias futuras —sobre peligros reales y presentes— llevarán menos peso. La credibilidad de todo el movimiento de seguridad se está gastando por adelantado contra escenarios hipotéticos, sin dejar nada para las amenazas que realmente importan.
Qué sucede después
Las líneas de batalla están trazadas. Por un lado: los laboratorios de vanguardia y sus aliados en el gobierno, argumentando que las apuestas son existenciales y el plazo es urgente. Por otro: escépticos de la industria, competidores emergentes y defensores del desarrollo abierto, argumentando que la urgencia está fabricada y que las regulaciones son trampas.
Lo que queda menos claro es cómo se ve un término medio sensato. El campo de seguridad de IA necesita desesperadamente más inversión en investigación de interpretabilidad y alineación, no menos. Pero envolver esa necesidad en retórica de extinción entrega munición a quienquiera que quiera frenar el despliegue en general, incluidas las partes que no son peligrosas.
La paradoja es que, al enmarcar el riesgo de IA como un apocalipsis, el movimiento de seguridad puede estar haciendo el apocalipsis más difícil de prevenir. La regulación construida sobre el miedo tiende a ser tosca. La regulación tosca frena a todos. Y en un campo donde las mejoras de seguridad se componen junto con las ganancias de capacidad, frenar el campo también frena la investigación en seguridad. No se alcanza la seguridad deteniéndose; se alcanza iterando más rápido de lo que evoluciona el perfil de riesgo.
La trayectoria probable es un compromiso desordenado: requisitos para informes de transparencia, auditorías independientes y umbrales de capacidad que favorecen a los grandes laboratorios mientras generan fricción para el resto. Los desarrolladores de código abierto enfrentarán la presión más aguda. Algunos cumplirán; otros se retirán a la clandestinidad, donde escapan a toda supervisión —exactamente el desenlace que los críticos de la regulación temen más.
La pregunta no es si debemos preocuparnos por sistemas superinteligentes. La pregunta es si gritar que nos matarán a todos es la vía más rápida para construir las cosas que nos mantienen seguros. Si la respuesta es no —y la evidencia hasta ahora sugiere que lo es—, entonces el movimiento necesita recalibrar con urgencia. No minimizando el riesgo, sino desacoplando las preocupaciones de seguridad legítimas de la narrativa de extinción que las ha secuestrado. La ventana para esa recalibración aún está abierta. Pero se cierra rápido, y las personas que sostienen el megáfono tienen todo el incentivo para seguir gritando.