Colapso del modeloModel Collapse

Los resultados de la IA se cuelan en el material de entrenamiento

Los modelos grandes aprenden recopilando textos e imágenes acumulados en internet. Pero el peso de lo que la propia IA genera dentro de ese contenido crece deprisa, y ahí dentro ya hay resultados de la generación anterior.

El problema es que separarlos es difícil. Las herramientas que intentan detectar si algo lo hizo una IA solo dan una probabilidad, y quien recopila los datos, en la mayoría de los casos, no sabe de qué origen es cada pieza.

Por eso este fenómeno no es el error de una sola empresa: aparece como una contaminación gradual de todo el material compartido. Es la razón por la que el material de las épocas con mucho texto escrito por personas se vuelve más valioso.

Lo primero en desaparecer es lo poco frecuente

El modelo imita la distribución de lo que aprendió: reproduce bien lo común y mal lo poco frecuente. En lo que genera, las expresiones raras aparecen menos que en el original. Si esa salida vuelve a usarse como material de aprendizaje, el peso de lo poco frecuente se reduce un poco más.

Este recorte se repite generación tras generación. Dialectos, estilos poco habituales, composiciones y colores infrecuentes: todo lo que estaba en el borde va desapareciendo primero. El centro aguanta más tiempo y el borde se derrumba antes.

La calidad que se ve por fuera se mantiene bien durante un buen rato. Las frases salen fluidas y las imágenes, limpias. Pero, sin hacer ruido, todo va deslizándose hacia un estado en el que cualquier encargo produce resultados parecidos.

Basta con pocas generaciones para que se note el estrechamiento

En experimentos a pequeña escala la tendencia es clara. Si se entrena a la siguiente generación solo con lo que generó la anterior, y se repite el proceso, la distribución de resultados se estrecha de forma visible en pocas generaciones, y el ritmo del deterioro se acelera con cada vuelta.

Aquí se acumulan varios tipos de error: el de tener una muestra limitada, que deja fuera los casos poco frecuentes; el de que el modelo no logra representar toda la distribución; y el de un entrenamiento que no converge del todo. La imprecisión de una generación se toma como verdad en la siguiente.

Pero la realidad no es tan sencilla como el experimento. Sigue entrando material nuevo hecho por personas, y también hay un filtro: solo sobrevive lo que la gente elige entre los resultados generados. Por eso el colapso no es un final ya escrito, sino un riesgo que se acerca si nadie cuida el material.

Es un fenómeno distinto del colapso de modo

Los nombres se parecen y es fácil confundirlos. El colapso de modo ocurre durante el entrenamiento de un solo modelo: sigue entregando unas pocas salidas que funcionan bien y renuncia al resto. Es un problema que se cierra dentro de ese mismo modelo, mientras se entrena.

El colapso del modelo es un problema entre generaciones. Los resultados de un modelo se convierten en el libro de texto del siguiente, y los de ese en el del siguiente, y así, a lo largo de varias generaciones, el material mismo se va estrechando. Entrenar bien un solo modelo no basta para evitarlo.

La forma de frenarlo es cuidar el material

Lo primero es seguir consiguiendo datos hechos por personas. Si entran registros humanos nuevos, los bordes vuelven a llenarse. Conservar bien el material original antiguo también forma parte de esto.

Lo segundo es controlar la proporción que se mezcla. En lugar de eliminar por completo el material generado, resulta más práctico sumarlo al material humano manteniendo su peso bajo. Hay resultados que muestran que así el estrechamiento se atenúa bastante.

Lo tercero es marcar y filtrar. Si al generar se incrusta una marca invisible y al archivo se le añade un historial, más tarde, al recopilar material, se puede filtrar hasta cierto punto. También se combina con usar solo material que una persona haya revisado y seleccionado.