La demanda de xAI es el momento Chernóbil de la industria de la IA

La IA no puede olvidarse

Jane Doe creció cargando imágenes de sus peores momentos. Entre los cuatro y los seis años, a principios de los 2000, dice que fue violada por hombres adultos que producían material de abuso sexual infantil para venderlo en línea. Durante más de veinte años, vivió con la certeza de que esas imágenes existían en el mundo, circulaban entre depredadores, aparecían sin previo aviso. El Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) y el Centro Canadiense para la Protección Infantil (CCCP) registraron sus valores hash en sus bases de datos: huellas digitales destinadas a rastrear y retirar ese material de internet.

Entonces xAI entrenó Grok con ese contenido.

Ese es el núcleo de la alegación en una demanda presentada el miércoles que representa la acusación más grave hasta ahora contra una gran empresa de IA generativa respecto al origen de sus datos de entrenamiento. La querella no solo acusa a xAI de poseer material de abuso sexual infantil (CSAM, por sus siglas en inglés), sino que sostiene que la compañía utilizó imágenes de abuso infantil, tanto reales como generadas por IA, para construir uno de los modelos de generación de imágenes más ampliamente desplegados en el mundo. Si se demuestra, no se trata solo de una violación legal. Es una revelación estructural sobre cómo funciona la actual cadena de entrenamiento de IA y por qué esa estructura puede ser fundamentalmente incompatible con la seguridad infantil.

El problema de los ajustes predeterminados

El reclamo más importante de la demanda no tiene nada que ver específicamente con CSAM. Se trata de la configuración predeterminada del propio Grok.

Según la querella, los términos de servicio de xAI tratan cada publicación pública en X y cada salida de Grok como datos de entrenamiento automáticos. No existe opción de exclusión. No hay límite entre el contenido generado por el usuario y el combustible del modelo. La arquitectura del sistema asume que la escala es el objetivo: introducirlo todo en el molino, extraer patrones, mejorar el modelo. Así es como funcionan muchos sistemas de IA generativa hoy en día. xAI simplemente lo hizo explícito en sus términos.

La demanda también señala que xAI filtra el contenido violento de las salidas de Grok antes de reintroducirlo en el entrenamiento, pero no realiza tal exclusión para CSAM, imágenes íntimas no consensuadas ni material para adultos. La inferencia lógica es tajante: cualquier contenido ilegal o dañino que ingrese al flujo público permanece en el modelo para siempre. Una vez que el CSAM pasa por el sistema de generación de Grok, se convierte en parte del conjunto de entrenamiento. Una vez que está en el conjunto de entrenamiento, eliminar su influencia de un modelo ya entrenado es técnicamente extremadamente difícil, si no prácticamente imposible.

Este no es un error en el diseño de xAI. Es la consecuencia de una elección de diseño que prioriza la acumulación de datos sobre la exclusión de contenido. El mismo patrón aparece en toda la industria: OpenAI, Google, Meta: todas construyen sistemas que ingestan grandes cantidades de datos públicamente disponibles con distintos grados de filtrado. La demanda contra xAI hace visible lo que todos en IA saben pero pocos han enfrentado directamente: cuando tratas todo el contenido del usuario como entrada del modelo, no puedes excluir selectivamente contenido ilegal en la etapa de entrenamiento porque quizá nunca sepas qué ingresó al sistema.

La primera demanda colectiva por CSAM contra una empresa de IA

Esta es la primera demanda que acusa a una gran empresa de IA de entrenar con CSAM. Reportes previos de Ars Technica y otros medios habían documentado instancias en las que investigadores encontraron contenido ilegal en conjuntos de entrenamiento, incluido un controvertido conjunto que fue posteriormente depurado tras su descubrimiento. Pero esos fueron incidentes. Esta es una alegación contra una compañía que construyó un producto sobre una filosofía de datos abiertos y luego falló en filtrar el peor contenido posible.

La demanda colectiva propuesta por Doe representaría a cada sobreviviente cuyas imágenes de infancia se hayan utilizado para generar CSAM creado por IA. Ese es un grupo potencialmente masivo. Las matemáticas del entrenamiento de IA generativa significan que incluso una sola imagen alimentada a un modelo puede producir miles de variaciones. Cada variación es un nuevo daño. Cada variación es un nuevo crimen, jurídicamente hablando, si se produce a través de los mecanismos que xAI supuestamente empleó.

La demanda cita violaciones de las leyes federales de pornografía infantil y la Ley Masha, ambas las cuales otorgan a los sobrevivientes de CSAM el derecho a demandar por producción, posesión y distribución. Margaret E. Mabie, una de las abogadas de Doe, declaró en un comunicado de prensa que xAI cometió los tres crímenes. Si es cierto, esta sería la primera acusación de estilo conspiración criminal contra una empresa de IA por sus prácticas de entrenamiento, y los daños civiles podrían ser enormes.

Lo que el modelo recuerda

El detalle técnico en la demanda que más importa es este: xAI no ha afirmado públicamente haber eliminado la influencia de ningún CSAM de los datos de entrenamiento de Grok. Una vez ingerido, ese material moldea las salidas del modelo. Incluso si las imágenes originales se retiran, incluso si xAI deja de aceptar nuevos inputs de CSAM, el modelo continúa generando contenido influenciado por el material absorbido.

Esto crea un bucle de retroalimentación particularmente peligroso para las víctimas de CSAM. Cada vez que un usuario solicita a Grok que genere imágenes sexualizadas, el modelo puede —por más indirecto que sea— producir variaciones influenciadas por el material de abuso original. La demanda alega que mensajes en foros en línea discutían crear CSAM generado por IA de Doe y otras víctimas conocidas, lo que sugiere que el modelo se está utilizando exactamente para ese propósito. Ya sea que Grok esté generando estas imágenes intencional o accidentalmente, el efecto es el mismo: el trauma de una sobreviviente se está reproduciendo por un algoritmo a escala.

Las implicaciones para toda la industria

Si Jane Doe gana, las consecuencias se extenderán mucho más allá de xAI. La sentencia podría establecer que cualquier empresa de IA que trate el contenido generado por el usuario como datos de entrenamiento automáticos asume responsabilidad por el contenido ilegal que pasa por su sistema. Eso obligaría a cada jugador importante —OpenAI, Google, Meta, Anthropic, Stability AI— a rediseñar sus canales de datos, implementar filtrado obligatorio en la ingestión y crear mecanismos de exclusión para usuarios cuyo contenido pueda contener material ilegal.

El impacto económico sería significativo. La ingestión automática de datos de entrenamiento es una ventaja competitiva central para compañías como xAI y X: crea un círculo virtuoso donde más usuarios generan más datos, lo que mejora el modelo, lo que atrae a más usuarios. Romper ese círculo —al requerir consentimiento expreso para el uso en entrenamiento, al implementar cribado de contenido en tiempo real, al aceptar que cierto contenido del usuario debe excluirse del entrenamiento del modelo— elevaría los costos y frenaría la iteración. También reduciría la calidad y el alcance de las salidas de IA, ya que el corpus de entrenamiento sería más pequeño y más filtrado.

Los reguladores ya se están moviendo en esta dirección. La Ley de IA de la UE exige transparencia sobre los datos de entrenamiento. California está considerando legislación que otorgaría a los usuarios el derecho a excluirse del entrenamiento de IA. La demanda contra xAI podría acelerar ambos esfuerzos al crear un precedente legal que haga a las empresas financieramente responsables por el contenido que absorben.

La pregunta irresponsable

El problema más profundo que plantea esta demanda no es legal ni técnico. Es moral. La industria de la IA generativa ha operado bajo la premisa de que los datos son datos —que cada imagen, cada texto, cada publicación es material de entrenamiento igualmente valioso. Esta premisa trata la experiencia humana como materia prima. Funciona bien para generar copy de marketing o asistencia de programación. Falla de manera catastrófica cuando la materia prima incluye evidencia de abuso infantil.

La industria necesita una nueva premisa: que ciertos datos no son neutrales y que ingérerlos en un modelo no es un acto pasivo sino una elección activa con consecuencias. Los términos de servicio de xAI reflejan la vieja premisa. La demanda de Jane Doe está obligando a los tribunales y a la industria a enfrentar lo que sucede cuando esa premisa choca con las peores realidades de la conducta humana.

El resultado determinará si las empresas de IA pueden continuar entrenando con todo lo que puedan extraer, o si deben construir salvaguardas que excluyan el contenido más peligroso, incluso a costa de capacidad y escala. El modelo no puede olvidarse de lo que ha absorbido. La pregunta es si la industria aprenderá a tiempo.