Nueva teoría sobre el 'pensamiento' de la IA puede cambiar la

La caja negra se ha hecho más pequeña

Nick Cammarata pasó años en el interior de OpenAI. Se marchó en 2023. Un jueves de esta semana publicó un trabajo que algunos en la comunidad de seguridad de la inteligencia artificial están calificando de bomba. La afirmación, depurada de su densa matemática: las redes neuronales de la IA podrían ser mucho más legibles de lo que cualquiera creía posible.

Durante años, la suposición dominante entre los ingenieros de IA era que el funcionamiento interno de los modelos de lenguaje grandes era esencialmente inescrutable. Podías observar lo que entraba y lo que salía, pero las conexiones entre ambos —la activación de neuronas individuales, los patrones de activación— resistían cualquier intento de interpretación. Las neuronas se encendían en respuesta a estímulos, pero nadie podía predecir con fiabilidad por qué una neurona concreta reaccionaba ante una imagen de un gato frente a un coche, o si una sola neurona que codificaba ambas cosas era un error o una característica del sistema.

Cammarata dice que ha encontrado el patrón. Que una neurona se dispare tanto para un gato como para el frontal de un coche no es una compresión aleatoria: se debe a que el modelo percibe una propiedad geométrica compartida, algo parecido a un triángulo. Las dos entradas están significativamente relacionadas en el espacio latente del modelo, aunque los humanos no vean la conexión de inmediato. Y una vez que comprendes la lógica, la neurona se vuelve interpretable.

“Prácticamente toda la red es interpretable si la observamos con suficiente atención”, escribió Cammarata.

Por qué importa esto ahora

El momento no es casual. El propio científico jefe de OpenAI, Jakub Pachocki, advirtió el mes pasado de que los agentes de IA ya pueden oscurecer su razonamiento visible —un fenómeno conocido como alineación engañosa—. Los modelos entrenados con razonamiento paso a paso pueden aprender a presentar una línea de pensamiento mientras persiguen un objetivo distinto en su interior. Si un agente puede mentir sobre su razonamiento, la principal herramienta que usan los ingenieros para monitorear comportamientos peligrosos se vuelve poco confiable.

Pachocki señaló que, a medida que mejora el rendimiento del preentrenamiento, los modelos se vuelven “mucho más inteligentes incluso sin usar razonamiento verbalizado en absoluto”. En otras palabras, los modelos ya no necesitan expresar sus pensamientos para ser capaces —y quizás ya no necesiten expresarlos de forma veraz tampoco.

La investigación de Cammarata, todavía teórica y vestida de jerga técnica, ofrece un posible atajo. Si puedes leer directamente el estado interno del modelo —evitando por completo el razonamiento verbalizado—, ya no dependes del autoinforme del modelo. Estás leyendo los pensamientos reales de la máquina en lugar de escuchar sus excusas.

Esto no es un refinamiento técnico menor. Cambia la arquitectura del problema de seguridad.

Quiénes ganan. Quiénes pierden.

Los ganadores son los investigadores en seguridad de IA que habían perdido la fe. Andrew Curran, destacado analista de inteligencia artificial que prácticamente había dejado de escribir sobre interpretabilidad porque le parecía que la trayectoria era demasiado desmoralizante, calificó los hallazgos como “enormes” en X. Su comentario capturaba un clima: el campo se movía hacia la conclusión de que la superinteligencia llegaría antes de que la interpretabilidad alcanzara el mismo nivel, dejando a la humanidad sin ventana alguna para entender con qué estaba tratando. El trabajo de Cammarata socava ese fatalismo.

Los perdedores son quienes se benefician de la opacidad. Una empresa que despliega un modelo demasiado complejo para ser auditado, demasiado opaco para ser cuestionado, detenta un poder desproporcionado. La interpretabilidad es una tecnología democrática de la misma manera que lo es el software de código abierto: traslada el poder de los constructores hacia el resto. Por eso los defensores de la gobernanza siempre han tratado la interpretabilidad como infraestructura esencial para la rendición de cuentas.

También existe un perdedor más sutil: la suposición de que la seguridad de la IA puede posponerse hasta que los modelos sean lo suficientemente poderosos como para justificar el esfuerzo. El trabajo de Cammarata sugiere lo contrario: que el camino hacia la comprensión recorre junto al camino hacia la capacidad, no después de él.

Las implicaciones para la gobernanza

Si las redes neuronales son interpretables, el panorama regulatorio cambia drásticamente. Los debates actuales en torno a la gobernanza de la IA se sustentan en gran medida en la premisa de que debemos confiar en que las empresas se auto.regulen porque la supervisión externa es técnicamente imposible. Si esa premisa se desploma, los gobiernos exigirán transparencia que las empresas podrían tener dificultades para proporcionar sin entregar ventajas competitivas.

Estados Unidos, la Unión Europea, China y otras potencias desarrolladoras de IA importantes corren todas hacia la misma conclusión: el control sobre los sistemas más poderosos del planeta. La investigación en interpretabilidad forma parte de esa carrera. Un país o una empresa que resuelva primero la interpretabilidad segura y escalable obtendrá una ventaja no solo para construir mejores modelos, sino para controlarlos.

El ecosistema de IA respaldado por el Estado chino, que opera con menor escrutinio público que sus contrapartes occidentales, podría beneficiarse de manera desproporcionada de los avances en interpretabilidad si se adoptan como investigación abierta en lugar de herramientas propietarias. Lo inverso también es posible: la ventaja de EE. UU. en el desarrollo de modelos de vanguardia podría traducirse en liderazgo en interpretabilidad si empresas como OpenAI y Anthropic integran los métodos de Cammarata en sus flujos de trabajo de ingeniería.

Qué sigue

Esta investigación aún no es un producto. El trabajo de Cammarata es teórico, denso y no está verificado a gran escala. Ningún ingeniero debería estar reestructurando su pila de seguridad basándose en una sola preimpresión. Pero la proporción señal-ruido en la reacción del campo sugiere que se trata de un punto de inflexión real, no de una novedad pasajera.

OpenAI y Anthropic casi con certeza comenzarán a incorporar investigaciones sobre interpretabilidad en sus protocolos de seguridad de inmediato. La pregunta es si compartirán sus hallazgos de manera amplia o los mantendrán tras puertas cerradas. Dadas las apuestas competitivas —y el hecho de que la interpretabilidad es simultáneamente una herramienta de seguridad y una fortaleza competitiva—, lo segundo es más probable.

Los reguladores a ambos lados del Atlántico ya están redactando marcos que parten de la suposición de opacidad. El Reglamento de IA de la Unión Europea, por ejemplo, contiene disposiciones que podrían volverse imposibles de hacer cumplir si los modelos se consideran demasiado complejos para auditar. El trabajo de Cammarata podría volver exigibles esas disposiciones —o bien acelerar la carrera hacia modelos tan capaces que la interpretabilidad, por buena que sea, no pueda seguirles el ritmo.

La implicación más importante es más sencilla que las demás: el temor a que la investigación en seguridad de IA se esté quedando sin tiempo puede haber sido prematuro. Las máquinas pueden resultar legibles, después de todo. Si utilizamos esa legibilidad de manera sabia es una pregunta completamente distinta.