El anuncio matemático de OpenAI rompe los benchmarks

La paradoja del benchmark

OpenAI hizo algo inusual la noche del martes. En lugar de mantener sus últimos resultados matemáticos encerrados en investigaciones propietarias, publicó 377 soluciones que abarcaban álgebra, teoría de números, ciencia computacional teórica, lógica matemática y topología. Diez de esas soluciones incluían resúmenes de cómo el modelo llegó a cada respuesta, generados tras aproximadamente tres horas de cómputo por resultado.

El movimiento llegó dos semanas después de que la compañía afirmara haber resuelto la ecuación de Navier-Stokes, uno de los siete Problemas del Milenio, cada uno con un premio de $1 millón, y se enfrentó a un rechazo inmediato de parte de matemáticos que cuestionaron si el resultado representaba un razonamiento genuino o simplemente un paso final agregado al trabajo de otra persona.

OpenAI enmarcó el nuevo lanzamiento como una respuesta a esas preocupaciones. Citó el consejo de un consejo asesor independiente organizado por el Institute for Advanced Study de Princeton. El consejo, formado tras la controversia de Navier-Stokes, recomendó que los laboratorios de IA publicaran tanto sus prompts como las cadenas completas de pensamiento utilizadas para producir los resultados. OpenAI señaló esa orientación en su anuncio.

Pero el lanzamiento también expuso una fractura que atraviesa todo el campo: OpenAI no está de acuerdo con la recomendación del consejo de que las empresas deberían dejar de probar modelos propietarios contra problemas matemáticos avanzados. Dan Roberts, líder de investigación de OpenAI, calificó las pruebas como esenciales para construir mejores herramientas. Las demostraciones, dijo, eran un subproducto.

Quién pierde cuando los benchmarks se rompen

La consecuencia no obvia de este lanzamiento no es que la IA ahora pueda resolver matemáticas difíciles. Es que el acto de publicar estos resultados públicamente destruye la señal que el campo ha estado usando para medir si la IA está mejorando.

Durante años, el juego de los benchmarks funcionaba así: los investigadores plantean un problema difícil, una empresa prueba su modelo contra él, y si el modelo falla, el benchmark permanece intacto como medida de la distancia hacia la meta. Lo resuelves y anuncias la victoria. Pasas a algo más difícil.

OpenAI ahora ha resuelto efectivamente docenas de problemas que se usaban como benchmarks del siguiente paso: el tipo de problemas que le darías a un estudiante de posgrado o a un investigador postdoctoral para probar si un sistema podía adentrarse en el territorio genuino de la investigación matemática. La compañía creó estos benchmarks después de que los problemas de estilo Olimpiada se volvieran demasiado fáciles. Ahora esos también se fueron.

¿Qué los reemplaza? Nadie lo sabe aún. OpenAI tiene modelos internos que siguen probándose contra problemas que no ha publicado. El resto del campo queda intentando calibrar el progreso sobre un objetivo móvil cuyas coordenadas acaban de volcarse en el registro público.

Tristan Buckmaster, matemático de la Universidad de Nueva York que trabajaba en el problema de Navier-Stokes, dijo que el lanzamiento actual muestra falta de diligencia debida. También planteó una posibilidad más inquietante: que los matemáticos que han estado alimentando ideas en los sistemas de IA —a través de artículos, preprints o incluso discusiones casuales en línea— pueden haber proporcionado inadvertidamente el material bruto que permitió a OpenAI completar demostraciones antes que los humanos que las iniciaron.

Probablemente haya un montón de resultados donde toman el trabajo de alguien y luego lo llevan a su conclusión, dijo Buckmaster.

El problema de la velocidad versus la comprensión

La tensión más profunda no es técnica. Es epistemológica. Las matemáticas avanzan cuando las demostraciones se entienden, se internalizan y se construyen sobre ellas, no cuando simplemente se verifican y se archivan.

Muchas de las 377 demostraciones fueron revisadas usando Lean, un lenguaje formal que verifica la corrección lógica. Una verificación en Lean confirma que el argumento es válido. No confirma que un matemático humano pueda leer el resultado y extraer intuición de él.

Kai Shaikh, estudiante de posgrado en matemáticas de la Universidad de Toronto, lo expresó así: el problema se reduce a dos impulsos humanos competidores —la competencia y la apreciación de la belleza. Para mí, esto parece un caso en que el primero intenta estrangular al segundo, dijo.

Melanie Wood, matemática de Harvard y miembro del consejo asesor, calificó el lanzamiento como el comienzo, no la conclusión, del proceso de comprensión humana y la incorporación del trabajo al conocimiento matemático.

Ese marco importa. Reconoce que la verificación y la publicación no son lo mismo que la comprensión. Y sugiere que el verdadero trabajo para los matemáticos apenas está comenzando, no el de la IA.

Qué sucede después

Las inmediatas secuelas probablemente impliquen una oleada de matemáticos intentando reconstruir el origen de cada resultado, determinando qué problemas abiertos estaban cerca de ser resueltos por investigadores humanos y si los modelos de OpenAI simplemente cruzaron la meta primero. Algunos de los 377 resultados pueden resultar ser completamientos incrementales de argumentos parcialmente escritos. Otros pueden representar enfoques genuinamente novedosos. El campo no lo sabrá por meses.

Las pruebas internas de OpenAI continúan contra problemas que no ha publicado. Eso significa que el techo verdadero de rendimiento de la compañía permanece oculto tras un muro de benchmarks sin publicar. La recomendación del consejo asesor de dejar de probar en problemas matemáticos avanzados ha sido rechazada. La carrera no está frenando.

Lo que está frenando es la capacidad de cualquier persona fuera de OpenAI para medir dónde está la carrera. La señal del benchmark ha sido comprometida. El campo ahora vuela en parte a ciegas, intentando entender resultados que llegaron más rápido de lo que la comunidad pudo procesarlos.

El lanzamiento se enmarcó como transparencia. En la práctica, funcionó como un choque de calibración: demostrando capacidad mientras dificultaba que el resto del mundo rastree qué viene después.