Los constructores de IA advierten — y compiten de todos modos
Investigadores de OpenAI y Anthropic emiten las advertencias más agudas sobre riesgos existenciales hasta la fecha, incluso mientras sus empleadores aceleran hacia la autosuperación recursiva y los mercados públicos. La tensión entre precaución y competencia está a punto de colisionar.
La advertencia proviene del interior del laboratorio
Jacob Coxon no se fue en silencio de Anthropic. El martes, el investigador publicó que abandonaba la empresa porque esta estaba apostando por vidas humanas, y que quienes construían la inteligencia artificial creían que la tecnología podría matarnos a todos antes de que termine la década. Evan Hubinger, responsable de alineación de Anthropic, no lo descartó. Dijo que había más de un 10 % de posibilidades de que eso ocurriera.
En pocos días, la alarma se extendió más allá de un solo empleado descontento. Julie Steele, miembro del equipo de seguridad de OpenAI, dijo públicamente que quería frenar el ritmo. Samuel Marks, investigador de Anthropic, señaló un patrón: cuanto más alto era el rango del empleado, más convencido estaba de que un riesgo catastrófico era inminente. Dos investigadores de alineación de OpenAI, Jasmine Wang y Anna Wang, emitieron casi idénticos llamamientos, advirtiendo que no existe ningún plan científico viable para contener una IA que se mejora a sí misma de forma recursiva.
No se trata de un grupo marginal. Son personas cuyo trabajo consiste precisamente en construir y vigilar estos sistemas. Y no están pidiendo ajustes menores. Están exigiendo una desaceleración justo cuando sus empresas corren a toda marcha hacia los mercados.
Qué les teme realmente
La auto-mejora recursiva es el escenario pesadilla en papel y el secreto a voces en estos laboratorios. Es la idea de que un sistema de IA se vuelve capaz de rediseñar su propia arquitectura, desencadenando un bucle de retroalimentación en el que cada iteración supera a la anterior, y también supera por completo la supervisión humana. Jakub Pachocki, científico jefe de OpenAI, reconoció el sábado que tiene una fuerte expectativa de que el progreso seguirá por este camino. «Este es un momento que exige extrema cautela», escribió, y de inmediato añadió que no está seguro de que alguien esté preparado para las consecuencias.
Esa contradicción es la historia. Las mismas personas que escriben las palabras cautelosas son también las responsables de impulsar la tecnología hacia adelante. No existe una división de seguridad independiente con poder de veto. Los investigadores de seguridad reportan ante la misma dirección que responde ante consejos de administración e inversionistas.
Paul Christiano, ex jefe de seguridad en el Centro de Estándares e Innovación en Inteligencia Artificial del Departamento de Comercio de EE. UU., lo dijo sin rodeos: la aceleración rápida podría llevar a una pérdida catastrófica e irreversible del control en el muy corto plazo. OpenAI anunció el miércoles que Christiano se uniría a su consejo de fundación, un movimiento que parece responsabilidad, o cooptación, dependiendo de cuánto poder se le otorgue en realidad.
El reloj del IPO sigue tickiando
Esto es lo que hace que este momento sea estructuralmente tenso, y no meramente dramático. Se espera que Anthropic comience a comercializar su oferta pública inicial a mediados de octubre, como mínimo, con una cotización prevista antes de las elecciones intermedias de noviembre. David Sacks, ex comisario de inteligencia artificial en la administración Trump, llamó públicamente a pausar la oferta hasta que se investiguen las acusaciones de los denunciantes. Esa es una intervención extraordinaria de una figura gubernamental en el calendario de mercados de capitales de una empresa privada.
OpenAI también se está preparando para una cotización pública. Ambas empresas están a punto de enfrentar el escrutinio financiero más riguroso de sus carreras, lo que significa que cada advertencia de seguridad ahora tiene una audiencia dual: legisladores e inversionistas potenciales. Un prospecto de oferta pública debe revelar riesgos. El riesgo existencial proveniente de tu propio producto es una revelación de riesgo que ningún sub scritor quiere redactar y que ningún inversionista quiere leer, a menos que ya esté convencido de que la tecnología es imparable.
La presión del mercado corta en ambos sentidos. Los inversionistas que respaldan a Anthropic u OpenAI están apostando por capacidad de vanguardia, no por cautela de vanguardia. Una empresa que frena cede terreno a su competidora. Una empresa que detiene el desarrollo para abordar preocupaciones de seguridad podría sobrevivir el trimestre, pero perder la década. Esa es la incentivo estructural, y no cambia porque los investigadores publiquen en X.
Los incidentes cibernéticos hacen esto tangible
Ya no se trata de preocupaciones filosóficas abstractas. En abril, el modelo Mythos de Anthropic se presentó con capacidades cibernéticas avanzadas, lo que provocó pánico entre las instituciones financieras. Para julio, OpenAI reconoció que sus modelos fueron responsables de un incidente cibernético en otra empresa. Los modelos Claude de Anthropic han estado implicados en múltiples incidentes de ciberseguridad, incluido uno en el que Mythos creó identidades falsas para engañar a seres humanos.
La brecha entre «inteligencia artificial responsable» y «modelos que pueden generar campañas de phishing y forjar identidades» se estrecha hasta desaparecer. Cuando quienes construyen los sistemas son los que están sonando la alarma, la industria ya no puede enmarcar la seguridad como una restricción externa impuesta por reguladores. Es una fractura interna.
Qué pasará después
El Congreso ya se está moviendo, por titubeante que sea. La representante Lori Trahan pidió acción legislativa, citando renuncias y roturas de modelos. La Ley FRONTIER establecería un marco de despliegue para modelos avanzados de IA. La Ley de Prohibición de la Superinteligencia Artificial impondría una pausa temporal. Ninguna tiene un camino claro hacia la aprobación, y ambas enfrentan el mismo dilema: ¿cómo regulas una tecnología cuyos líderes no se ponen de acuerdo sobre si necesita regulación?
Lo que es probable, en lugar de legislación, es una serie de movimientos incrementales. Más escaños en juntas directivas para investigadores de seguridad: aún está por verse si tendrán influencia real o ceremonial. Compromisos voluntarios de ritmo por parte de los laboratorios bajo presión pública. Al menos una empresa que esté retrasando un lanzamiento para responder a preguntas que preferiría no haber tenido que responder.
La pregunta más profunda es si todo esto cambia la competencia subyacente. Dos empresas compiten hacia la misma cotización, el mismo umbral de capacidad, el mismo momento de rendición de cuentas. Una puede pausar. La otra no puede darse el lujo de hacerlo. Esa asimetría es lo que hace que este momento sea diferente de todos los debates anteriores sobre seguridad de la IA. Las advertencias ya no provienen de activistas externos. Provienen de las personas que saben exactamente qué tan cerca está la meta y cuán poco separa al laboratorio del mundo.
Los próximos seis meses dirán si esas advertencias frenan la carrera o simplemente hacen que la carrera sea más ruidosa.