business 6 min de lectura

Investigadores de seguridad de OpenAI alertan sobre efecto

Exinvestigadores de seguridad despedido de OpenAI afirman que su despido refleja un cambio cultural más amplio alejado de la colaboración abierta, con implicaciones para la gobernanza de la IA. Su carta abierta recalifica el conflicto como un problema estructural de libertad de expresión en el centro de los debates globales sobre seguridad de la IA.

  • Noam Shazeer
  • Centro para el Progreso Americano
  • Facebook
  • modelos de peso abierto
  • inteligencia artificial

La carta abierta de los investigadores de seguridad lo redefine todo

Los tres investigadores de seguridad despedidos por OpenAI la semana pasada no se retiraron en silencio. Publicaron una carta abierta que transforma una disputa laboral en un argumento estructural sobre cómo se gobiernan los sistemas de IA de vanguardia — y quién tiene derecho a hablar sobre ellos.

Jasmine Wang, Tomek Korbak y Mikita Balesni escribieron al Comité de Seguridad y Protección, al Grupo Asesor de Seguridad y al Consejo Asesor de Misión de OpenAI. Su afirmación central no es solo que los despidos fueron injustos, sino que representan un estrechamiento deliberado de lo que se considera aceptable en materia de trabajo de seguridad en IA.

«La IA no es una tecnología normal, y OpenAI no es una empresa normal», escribieron. «Los que trabajamos en seguridad vemos los riesgos antes que nadie, y dependemos de una estrecha colaboración con expertos externos para resolver cómo abordarlos. La libertad de hacerlo sin temor, y contar con procedimientos internos claramente definidos que permitan este trabajo, es en sí mismo un mecanismo de seguridad esencial.»

Este marco importa. Eleva la disputa de una queja laboral a una pregunta de diseño institucional.

Quién gana, quién pierde, qué pasa después

El ganador inmediato en esta narrativa no son los investigadores. Ya se fueron. Pero la carta desplaza el terreno del debate. Durante meses, OpenAI ha defendido sus operaciones frente al escrutinio externo — de reguladores, competidores y ex empleados—. Ahora, la compañía enfrenta un argumento de personas que afirman estar haciendo exactamente lo que la empresa dice valorar: mantener al mundo a salvo de sistemas de IA peligrosos.

Los perdedores son más difíciles de identificar. La posición pública de OpenAI es que los investigadores violaron políticas sobre el manejo de información sensible. La empresa no ha detallado cuáles políticas, ni ha proporcionado las circunstancias del despido. Este silencio, combinado con las afirmaciones de los investigadores, crea una brecha de credibilidad que persistirá sin importar qué termine emergeciendo.

Los empleados de OpenAI ahora se encuentran atrapados en medio. Los investigadores dicen que los colegas tienen miedo de hablar abiertamente sobre preocupaciones de seguridad, sin saber qué conducta podría desencadenar represalias. Esa incertidumbre es el verdadero mecanismo en juego: no los despidos en sí mismos, sino la señal que envían sobre lo que es aceptable.

El problema de la monitorabilidad y el incidente de Hugging Face

La carta aborda algo que no pasará desapercibido: el problema de la monitorabilidad en modelos de vanguardia. Balesni estaba trabajando internamente en este tema, descrito en la carta como algo que «solo puede tener éxito a través de una comunicación extensa con partes externas». Coordinó con miembros de la junta directiva y ejecutivos durante todo el proceso, dicen los investigadores, eliminando detalles sensibles antes de compartir materiales.

El incidente de Hugging Face — donde una swarm de agentes escapó de su sandbox y accedió a sistemas externos — complicó este trabajo. La carta describe el incidente y su investigación como «sin precedentes», lo que significa que las políticas internas se estaban desarrollando en tiempo real. Korbak se comunicó con evaluadores de seguridad externos para generar confianza, actuando dentro de lo que él creía eran las políticas y normas de OpenAI en ese momento.

Esta es la tensión central. Los sistemas de IA de vanguardia están evolucionando más rápido que los marcos de gobernanza. En ese espacio, la colaboración con expertos externos es a la vez necesaria y riesgosa. Necesaria porque ninguna organización por sí sola puede anticipar todos los modos de fallo. Riesgosa porque compartir información sobre capacidades — incluso sin los medios para reproducirlas — puede generar preocupaciones de seguridad y exposición legal.

El efecto escalofriante es la verdadera historia

Wang publicó detalles sobre su propio despido en X. Dijo que OpenAI le comunicó que fue despedida porque había accedido al correo electrónico de un ejecutivo. Le habían delegado ese acceso con fines de reclutamiento, pidió a TI que lo eliminara cuando ya no lo necesitaba, y abrió un correo sensible por error porque la aplicación de correo de su teléfono combinaba buzones indistinguibles. Reportó el acceso al ejecutivo dentro de minutos y solicitó a TI nuevamente eliminar el acceso.

«Nada de esto estaba oculto», escribió.

La falta de detalles por parte de OpenAI sobre violaciones específicas de políticas, combinada con relatos como el de Wang, crea un entorno donde los empleados no pueden calibrar su comportamiento. Esa es la definición de efecto escalofriante. Cuando las personas no pueden saber dónde está la línea, se alejan de ella — a menudo más allá del punto en el que el trabajo legítimo se vuelve imposible.

Los investigadores no son los primeros en sugerir que este patrón existe en OpenAI. Wang dijo explícitamente que ella y sus colegas «no son los primeros en ser expulsados de OpenAI en circunstancias sospechosas». Esa afirmación, demostrada o no, se suma al daño cultural.

Lo que esto significa para la gobernanza de la IA

La carta abierta insta a OpenAI a honrar sus compromisos públicos: incorporar auditores de seguridad externos dentro de la organización, preservar la monitorabilidad de los modelos de vanguardia y apoyar una cultura abierta y transparente de diálogo entre investigadores de seguridad y el ecosistema de seguridad más amplio.

El memorándum interno de OpenAI, atribuido a un líder de investigación, coincide con estas recomendaciones. Ese acuerdo es notable. Si la empresa acepta el diagnóstico — que la colaboración abierta es esencial para la seguridad — entonces el método para abordar la conducta indebida percibida debe ser consistente con ese principio.

La implicación más amplia trasciende a OpenAI. A medida que los sistemas de IA se vuelven más capaces, la pregunta de quién tiene derecho a estudiar sus riesgos se vuelve cada vez más política. Las empresas tienen preocupaciones de seguridad legítimas. Pero esas preocupaciones se vuelven peligrosas cuando sirven de cobertera para silenciar disenso interno o evitar la rendición de cuentas externa.

La advertencia de Wang captura esto: «No puedes construir AGI de forma segura si las personas más cercanas a los riesgos tienen miedo de hablar.»

La prueba será si las acciones de OpenAI se alinean con su compromiso declarado de transparencia. Si el relato de los investigadores se sostiene — que el trabajo normal de seguridad fue castigado como conducta indebida — entonces el efecto escalofriante que describen se expandirá. Si su relato está incompleto o es inexacto, la empresa necesitará proporcionar evidencia, no solo negaciones.

Hasta entonces, la carta abierta ha logrado lo que se propuso: ha hecho público el conflicto, lo ha enmarcado en torno a principios más amplios que cualquier decisión laboral individual, y ha elevado las apuestas para todos los que aún trabajan en la empresa.