Conexión residualResidual Connection

La capa solo aprende la diferencia

Una capa normal transforma por completo el valor que recibe y entrega un valor nuevo. Al añadirle un atajo, su papel cambia: ya no entrega un producto terminado, sino la diferencia entre el valor original y el objetivo. Por eso se le llama conexión residual, del latín residuo, lo que queda.

Bastarle con producir esa diferencia hace el trabajo de la capa mucho más fácil. Si el valor ya es bueno, la capa puede simplemente devolver algo cercano a 0 y no añadir nada. Es una diferencia mayor de lo que parece: sin el atajo, incluso "no hacer nada" exige ajustar los controles con precisión.

Con esto es posible apilar cien capas y que solo treinta trabajen de verdad. El resto se limita a dejar pasar el valor tal como llegó.

Para sumar hace falta que el tamaño coincida

Para juntar el valor que llega por el atajo con el que produce la capa, las dos formas tienen que coincidir. Si el tamaño de los grupos de números es distinto, no se pueden sumar. Por eso los tramos que se conectan con un atajo suelen diseñarse para que el tamaño de entrada y de salida sea el mismo.

Donde el tamaño cambia sí o sí, se coloca una transformación muy ligera en el propio atajo, solo para igualar el tamaño. En los modelos de imagen, esto ocurre en los puntos donde la imagen se encoge y aumentan los canales. Aun así, la norma es mantener esa transformación al mínimo: si el atajo se complica demasiado, deja de ser un atajo.

Sin atajo, cuanto más profundo, peor

Parece razonable pensar que apilar más capas da más capacidad y, por lo tanto, mejores resultados. Pero pasaba lo contrario. Al pasar de veinte a cincuenta capas, el resultado empeoraba tanto en datos nuevos como en datos ya vistos durante el entrenamiento.

No era un problema de memorización. Si el modelo profundo se limitara a copiar lo que hacía uno más superficial, debería mantener al menos el mismo resultado, pero ni eso lograba. No faltaba capacidad: fallaba el entrenamiento en sí. Con la llegada del atajo, esta barrera cayó, y modelos con más de cien capas empezaron a rendir mejor de verdad.

La señal de aprendizaje también vuelve por el atajo

El entrenamiento mide, arriba del todo, cuánto se alejó la respuesta del objetivo, y devuelve esa señal hacia las capas de abajo. Cada vez que la señal cruza una capa hacia atrás, se ve arrastrada por el cálculo de esa capa y se hace un poco más pequeña o más grande. Con decenas de capas, la señal casi desaparece antes de llegar a las primeras.

Con el atajo, la señal que vuelve también baja por ese camino. Al existir un canal que no pasa por ninguna capa, llega a las capas de abajo con una fuerza cercana a la original. Por esto las primeras capas de los modelos profundos por fin pudieron aprender de verdad.

Hoy está en todos los modelos que se usan

El atajo tuvo su primer gran éxito en modelos de reconocimiento de imágenes, pero ahora forma parte básica de casi cualquier arquitectura. Si abres un bloque dentro de un modelo de lenguaje, encontrarás un atajo después de la atención y otro después de la capa que viene a continuación.

Así, en vez de reescribirse por completo capa tras capa, el valor mantiene un tronco grueso que sube recto de abajo hacia arriba. Cada capa solo le añade su parte a ese tronco. La normalización de capas suele venir siempre pegada a este mecanismo, precisamente porque sumar sin parar hace que el valor crezca cada vez más.