Normalización de capaLayer Normalization

Cuando la escala se descuadra, el entrenamiento se detiene

Cuanto más profunda la red, más grande se vuelve el problema. Si en una capa se cuela el hábito de inflar los números 1,5 veces, después de atravesar veinte capas ese hábito se multiplica sobre sí mismo y termina siendo miles de veces el valor original. Al revés, si en cada capa el valor se achica un poco, para cuando llega a la última capa ya es casi cero.

El entrenamiento se hace devolviendo el error de la última capa hacia la primera, y ese valor que vuelve sufre exactamente la misma multiplicación. Por eso las primeras capas terminan sin recibir ninguna señal, o reciben una señal de un tamaño imposible de manejar. Si las primeras capas no aprenden, se pierde el sentido de haber apilado tanta profundidad.

La normalización de capa impide que esta multiplicación se acumule: devuelve la escala a su lugar en cada capa. Gracias a eso, aunque se apilen decenas de capas, la primera y la última terminan manejando números de un tamaño parecido.

El criterio está solo dentro de una posición

Aquí, "una posición" es el bloque de números que lleva un solo trozo del texto. Un modelo de lenguaje lleva consigo, por cada trozo, miles de números. La normalización de capa saca el promedio y el ancho de dispersión solo dentro de esos miles, sin mirar nada más.

Lo importante es que no mira al costado. Sin importar cuántas frases se procesen juntas de una vez, ni si la frase es larga o corta, cada posición ajusta su escala mirando solo sus propios números. Por eso, incluso al generar una respuesta metiendo una sola frase, funciona exactamente igual que durante el entrenamiento.

Esta propiedad es especialmente favorable en modelos que manejan textos de largo variable. Los métodos que promedian cruzando varios ejemplos pierden estabilidad cuando se mezclan frases cortas y largas.

Dos perillas para revertir el ajuste

Forzar la escala a un mismo molde puede borrar diferencias de tamaño que el modelo había construido con esfuerzo. Por eso, después de normalizar, se añaden dos perillas. Una vuelve a estirar o a achicar el ancho; la otra desplaza el conjunto entero hacia arriba o hacia abajo.

Estas perillas no las fija una persona: las define el entrenamiento. Si conviene dejar bien marcada la diferencia en cierta posición, el modelo agranda la perilla de esa posición. La normalización no borra información: solo pareja la línea de salida, y cuánto abrirla después queda en manos del modelo.

¿Antes o después de la capa?

La estructura inicial ponía la normalización después de que terminaba el cálculo de la capa. Con esta disposición, cuando la red se volvía muy profunda, el comienzo del entrenamiento se sacudía mucho, y hacía falta un calentamiento: empezar con una tasa de aprendizaje muy pequeña e ir subiéndola despacio.

La disposición que más se usa hoy es la contraria: primero se reajusta la escala antes de entrar en la capa, y el resultado que produce la capa se suma al valor original, sin tocar, que llegó por el atajo. Así, el canal que atraviesa de principio a fin queda limpio, y hasta un modelo muy profundo se entrena de forma estable.

El mismo mecanismo, según dónde se coloque, puede decidir si el entrenamiento funciona o no. Que el lugar donde se inserta importe más que el cálculo mismo de reajustar la escala es una de las lecciones que dejó el trabajo con modelos profundos.