AutorregresiónAutoregressive

Solo se decide un trozo a la vez

Lo que hace el modelo al generar una respuesta es más simple de lo que parece. Lee todo el texto que existe hasta ese momento, le pone una puntuación a cada candidato para el siguiente trozo según lo verosímil que sea, y elige uno para pegarlo al final. Hasta aquí, un paso.

Cuando termina un paso, el texto es un trozo más largo. Ahora vuelve a leer ese texto alargado desde el principio y repite exactamente lo mismo. Si la respuesta tiene cien trozos, este paso se repite cien veces.

No hay un plan de la frase entera escrito de antemano al que solo falte transcribir. Ni siquiera dónde termina la frase está decidido de entrada: se define en el momento en que, dando estos pasos, sale elegido el trozo del punto final o el trozo de cierre.

Lo que ella misma escribe vuelve a ser la entrada

Aquí está la razón del nombre autorregresión. La salida del modelo se convierte, de inmediato, en su propia entrada siguiente. Nadie añade nada nuevo desde fuera: el modelo recibe de vuelta lo que él mismo acaba de generar.

Por eso los primeros trozos condicionan mucho la dirección de toda la respuesta. Si empieza con "Claro que sí", lo que sigue tiende a sonar explicativo; si abre con "Lo siento, pero", tiende a inclinarse hacia una negativa. La técnica de escribir de antemano el comienzo de la respuesta en el prompt funciona bien precisamente por esta propiedad.

La misma propiedad también genera problemas. Si al principio se cuela un nombre que no es real, las frases siguientes lo dan por hecho y siguen construyendo la historia sobre esa base. Así es como un error se vuelve cada vez más convincente.

El punto sin retorno

Una persona que escribe puede volver atrás y corregir una frase anterior. La autorregresión no tiene ese paso. Un trozo, una vez pegado, se queda ahí, y el modelo solo puede pensar sobre lo que ya está escrito.

Por eso a veces se hacen avanzar varios caminos posibles a la vez y, al final, se elige el mejor. También existe el método de dejar que el modelo termine la respuesta entera y luego se revise y la reescriba él mismo. Que los modelos de razonamiento escriban un largo proceso de pensamiento antes de la respuesta va en esa dirección: si no se puede deshacer, mejor dar bastantes vueltas por adelantado.

Por qué escribir es tan lento

Leer una pregunta y escribir una respuesta tienen velocidades muy distintas. La pregunta ya está completa en trozos, así que se puede meter entera y procesar de una vez. La respuesta, en cambio, necesita que el trozo anterior esté fijado antes de poder empezar el siguiente.

Por eso cada trozo obliga a atravesar el modelo entero una vez más. Decenas de capas, miles de millones de pesos, solo para conseguir un trozo. Si la respuesta se duplica en longitud, el tiempo de espera también se duplica. El streaming que hace que el texto aparezca fluyendo en pantalla no oculta este paso a paso: simplemente lo muestra tal cual es.

Existen otras formas

No toda generación funciona así. La difusión, muy usada en imágenes, retoca la imagen entera un poquito a la vez. Como todo el lienzo mejora al mismo tiempo desde el principio hasta el final, no hay un orden fijo. En el texto también se investigan enfoques parecidos que retocan todo a la vez.

Aun así, en el texto la autorregresión sigue siendo la que más se usa. El entrenamiento es más simple y lo que se genera mantiene mejor la coherencia de principio a fin.