La degradación del conocimiento. Copias de copias hasta no ver el original

Una copia de copia pierde información. Es entropía clásica de la información. Un modelo entrenado con texto generado por modelo pierde información de manera análoga: las colas raras de la distribución se evaporan, la mediana se hincha. Cada generación de IA entrenada con outputs de la anterior es un poco más pobre, un poco más promediada. El «model collapse» (Shumailov, Nature 2024) es fenómeno medido, no especulativo. Y nadie sabe cómo se va a frenar.

¿Qué pasa si una IA se entrena con datos de otra IA?

Pierde la cola de la distribución: las secuencias raras, los estilos poco frecuentes, los datos atípicos. Shumailov y su equipo lo midieron en Nature en 2024 y lo llamaron «model collapse»: cada modelo entrenado con el output de otro modelo aprende una distribución ya adelgazada, y el efecto se acumula generación tras generación de forma irreversible con las técnicas actuales. Añadir más datos sintéticos no devuelve lo perdido; solo una proporción suficiente de datos humanos frescos amortigua la degradación, sin revertirla.

La fotocopia como metáfora exacta

Pon una hoja en una fotocopiadora. Saca una copia. Fotocopia la copia. Fotocopia esa segunda copia. Repítelo veinte veces. En la copia número veinte ya no se lee. Cada pasada introdujo un poco de ruido — granulado del tóner, ligero desalineamiento, pérdida de contraste — y ninguno de esos pequeños deterioros se recuperó. La cadena tiene un único sentido: la información se pierde, no se recupera. Es la versión doméstica del segundo principio de la termodinámica aplicado al canal de comunicación.

Esta analogía, que en los noventa se usaba para explicar la diferencia entre digital y analógico — el digital, decían, no se degrada — se ha vuelto a hacer útil en 2026 por una razón inesperada. Los modelos generativos están reintroduciendo la degradación en el canal digital, no porque se copien bits con ruido, sino porque cada generación de modelo aprende sobre lo que la generación anterior produjo, y el «aprendizaje» tiene una propiedad estadística inexorable: muestrea hacia la moda.

Cuando un modelo de lenguaje genera texto, no devuelve la distribución completa del corpus que aprendió. Devuelve secuencias probables. Las secuencias improbables aparecen, sí, pero con frecuencia menor que la que tenían en el corpus original, porque el sampleo se ajusta — temperatura, top-k, top-p — para producir texto coherente. La cola se adelgaza. Si el output de ese modelo se mete en el corpus de entrenamiento del siguiente modelo, el siguiente modelo aprende una distribución ya adelgazada y produce, a su vez, una distribución más adelgazada todavía. Es la fotocopia, sin tóner.

Lo que la métrica capta y lo que no

Shumailov y otros, en AI models collapse when trained on recursively generated data (Nature 631, 2024), midieron el efecto en tres familias de modelos generativos. La métrica que sube a lo largo de las generaciones es la perplejidad sobre la cola — la dificultad del modelo sucesor para reproducir las muestras raras del corpus humano original. La métrica que se mantiene o incluso mejora es la fluidez sobre la moda. Los autores documentaron que el daño se acumula y, lo más relevante, que es irreversible con técnicas convencionales. Añadir más datos sintéticos no devuelve la cola. Añadir un poco de datos humanos amortigua, pero la pérdida ya producida queda incorporada.

Alemohammad y otros, en Self-Consuming Generative Models Go MAD (ICLR 2024), llegaron a la misma conclusión por una vía paralela en modelos generativos de imagen. Llamaron al fenómeno Model Autophagy Disorder (MAD), por analogía con la encefalopatía espongiforme bovina, la enfermedad de las vacas locas que apareció cuando se alimentó al ganado vacuno con harinas de su propia especie. El paralelismo no es metafórico. Es operativo: un sistema que consume su propia producción acumula desórdenes estructurales que no aparecen mientras el ciclo es corto y que se hacen catastróficos cuando el ciclo se cierra y se itera.

La parte que conviene retener es lo que la métrica industrial dominante no capta. Los benchmarks habituales que las empresas publican para anunciar la mejora de cada nueva versión — MMLU, GSM8K, HumanEval, los conjuntos de evaluación al uso — miden rendimiento sobre tareas centrales, no sobre la cola del corpus. Un modelo que ha perdido la cola estadística puede subir en MMLU y bajar en algo que no se está midiendo: la capacidad de generar texto fuera de la mediana. La métrica que sube se publica. La que baja, nadie la publica porque no se ha definido.

La mediana cultural se hincha

Hay una segunda lectura, menos técnica, que conviene plantear sin demagogia. Cuando millones de personas usan modelos generativos para escribir correos, redactar borradores, traducir, resumir y producir contenido, lo que circula por la conversación pública se vuelve más parecido a la moda estadística del corpus de entrenamiento. La diversidad expresiva de los hablantes no desaparece, pero la diversidad efectivamente publicada sí se estrecha, porque el filtro generativo achata el extremo. El registro local pierde frente al registro global. El giro idiomático pierde frente a la formulación neutra. La rareza pierde frente a lo razonable.

Aquí toca evitar la trampa elegíaca. No es que la cultura «pierda riqueza» en abstracto. Es que el canal que la transmite preferencia la mediana, y la cultura se transmite mayoritariamente por canal en 2026. La rareza que sobrevive es la rareza producida fuera del canal o capaz de atravesarlo sin filtrado. Esa rareza existe y existirá. Lo que cambia es la proporción. El centro se hace más visible y los extremos se hacen menos audibles, no porque se silencien, sino porque el ancho de banda del canal premia el centro.

Bender y otras, en On the Dangers of Stochastic Parrots (FAccT 2021), avisaron de esta tendencia antes de que los modelos generativos fueran de uso masivo. El argumento no era prohibicionista. Era empírico: cuando un sistema entrenado en corpus masivo se convierte en intermediario lingüístico de hablantes de muchas variedades, la salida del sistema tiende a la variedad mejor representada en el corpus, y esa variedad mejor representada arrastra los sesgos culturales del corpus. Es física estadística, no ideología.

Las soluciones planteadas, y por qué ninguna está operativa

Existe un catálogo razonablemente conocido de propuestas técnicas y regulatorias para frenar la degradación. Conviene listarlas con sus limitaciones, sin promesa.

Marca de agua de IA, watermarking. Kirchenbauer y otros, en A Watermark for Large Language Models (ICML 2023, arXiv 2301.10226), propusieron una técnica que sesga ligeramente el muestreo de tokens hacia un subconjunto «verde» definido por la clave del modelo, de manera que el texto generado puede identificarse después con métodos estadísticos. La idea es elegante; la operativa, frágil. Una reformulación, un cambio de modelo, una traducción y vuelta — todo eso degrada el watermark. Además, las marcas de agua sólo funcionan si todos los productores cooperan, y en un mercado competitivo el incentivo a no marcar es alto.

Datasets curados solo humanos. Algunos laboratorios mantienen y crecen colecciones internas de texto humano auditado, pagado a anotadores con trazabilidad. La calidad es alta y el coste también. La escala es el problema: los corpus humanos auditados se miden en miles de millones de tokens; los corpus de entrenamiento generales, en billones. La fracción humana auditada se hace pequeña aunque sea muy buena.

Regulación de procedencia. La Unión Europea, en el AI Act, prevé obligaciones de transparencia sobre origen y entrenamiento. China ha publicado regulaciones sobre etiquetado obligatorio de contenido generado. Estados Unidos navega entre iniciativas estatales y declaraciones presidenciales. Ninguna de estas regulaciones impone protocolo técnico universal de marcado verificable, ni puede imponerlo unilateralmente sobre infraestructura distribuida globalmente.

Detectores de IA. Las empresas que ofrecen detección de texto generado por IA — Originality.AI, GPTZero y similares — reivindican alta precisión en condiciones controladas, pero estudios independientes han documentado tasas de falsos positivos y falsos negativos nada despreciables. El riesgo es especialmente alto al marcar como artificial el texto de hablantes no nativos: Liang y otros midieron que varios detectores comerciales clasificaron erróneamente como artificiales más de la mitad de las redacciones escritas por no nativos. Funcionan como heurístico, no como criterio decisivo. Y la fiabilidad tiende a erosionarse a medida que los modelos mejoran.

El balance: ninguna opera a escala

La parte incómoda no es que las propuestas sean malas. Es que ninguna, a día de hoy, opera a la escala del problema. La degradación corre más rápido que las soluciones, y las soluciones no son técnicamente unificables ni políticamente acordables en ningún plazo razonable. Kate Crawford recorre en Atlas of AI la materialidad y la economía de los datasets — minería de tierras raras, salarios de anotadores, contratos de licencia opacos — y deja entender por qué este problema no se va a resolver con un parche técnico: los datasets son un objeto industrial, no un repositorio académico.

La diferencia entre erosionar y conservar es activa

Hay una afirmación que conviene sostener sin escapatoria. La conservación cultural no ocurre por inercia. Es una operación que cuesta esfuerzo, dinero, infraestructura y, sobre todo, una decisión sobre qué se conserva. Las bibliotecas existen porque alguien decidió que existieran. Los archivos existen porque alguien los financió. Los museos catalogan porque hay trabajo humano detrás de cada catalogación. La diversidad lingüística sobrevive donde hay políticas activas que la sostienen, y se erosiona donde no.

La era generativa redobla la apuesta. No basta con que la cultura humana producida hasta 2022 siga existiendo en el disco duro de Common Crawl. Hace falta que esa producción se conserve de manera estadísticamente distinguible del corpus contaminado posterior, que se mantenga auditada, accesible y citable como línea base. Eso requiere instituciones, no buenas intenciones. Si las instituciones no aparecen, la línea base se diluye en el resto del corpus y deja de existir operativamente, aunque sus bits sigan en un servidor.

¿Cuál es la diferencia entre un manuscrito perdido y un manuscrito guardado en un sótano donde nadie sabe que está? Operativamente, ninguna. Eso es lo que está en juego.

Definiciones

Entropía de Shannon. Medida clásica de la información de una distribución de probabilidad. Cuando una distribución se concentra en la moda y pierde la cola, su entropía disminuye: hay menos información por muestra.

Model collapse. Fenómeno documentado por Shumailov y otros (2024) por el que entrenar modelos generativos sobre la salida de modelos previos produce pérdida progresiva e irreversible de la cola de la distribución.

Model Autophagy Disorder (MAD). Término acuñado por Alemohammad y otros (2024) por analogía con la enfermedad de las vacas locas para describir el deterioro de modelos generativos de imagen entrenados sobre sus propios outputs sin suficiente dato humano fresco.

Watermarking. Técnica para incrustar una señal estadística identificable en el output de un modelo generativo, permitiendo detección posterior. Vulnerable a transformaciones del texto y dependiente de la cooperación del productor.

Línea base humana. Corpus identificable de producción humana auditada, conservado como referencia estadística estable para entrenamiento y evaluación de modelos futuros. Su mantenimiento exige instituciones activas, no inercia.

Referencias

Alemohammad, S. et al. (2024). Self-Consuming Generative Models Go MAD. ICLR 2024. arXiv: 2307.01850. Análisis del fenómeno autofágico en modelos generativos de imagen y acuñación del término MAD.

Bender, E., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots. FAccT 2021. Advertencia precoz sobre la tendencia a la mediana en sistemas entrenados con corpus masivo y usados como intermediarios lingüísticos.

Crawford, K. (2021). Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press. Marco general sobre la materialidad y la economía de los datasets de entrenamiento.

Liang, W. et al. (2023). GPT detectors are biased against non-native English writers. Patterns 4, 100779. arXiv: 2304.02819. Estudio que documenta cómo los detectores comerciales clasifican erróneamente como artificiales más de la mitad de las redacciones de hablantes no nativos (un detector alcanzó el 61,3 % de falsos positivos sobre ensayos TOEFL).

Kirchenbauer, J. et al. (2023). A Watermark for Large Language Models. ICML 2023. arXiv: 2301.10226. Propuesta técnica de marca de agua estadística para identificar salida de LLM, con sus límites conocidos ante reformulación y traducción.

Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot, N. & Anderson, R. (2024). AI models collapse when trained on recursively generated data. Nature 631, 755–759. Demostración empírica de model collapse y de la irreversibilidad de la pérdida de cola distribucional.

También te interesa

• El bucle de entrenamiento
• La entropía del contenido digital
• El dataset como ideología
• El futuro condicionado por datos antiguos

En otros sitios

• What Is Model Collapse? (IBM)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion (arXiv)