AutoatenciónSelf-Attention

Circula dentro, no fuera

La atención en sí se usó primero para conectar dos grupos distintos: al traducir, unía las palabras del texto original con las del texto traducido. Quien preguntaba y quien respondía eran frases diferentes.

La autoatención juntó esos dos lados en uno. Quien pregunta y quien responde son la misma frase. De ahí el nombre, "sobre sí misma". Este cambio, tan simple, hizo posible la estructura del transformer, y casi todos los modelos de lenguaje actuales se apoyan en ella.

Cada posición cumple tres papeles a la vez

Cada posición produce tres cosas: una nota que dice "esto es lo que busco", una etiqueta que dice "esto es lo que tengo" y el contenido real que va a entregar. Es como si un mismo buzón enviara la carta, colgara la etiqueta y preparara además el contenido de la respuesta.

Cuanto mejor encajan la nota y la etiqueta, mayor es el peso de la respuesta que llega desde esa posición. Como los pesos suman 1, si una posición se consulta mucho, las demás se consultan automáticamente menos.

Las tres cosas se extraen del mismo original, cada una de forma distinta. Cómo extraerlas se decidió durante el entrenamiento.

Al recoger las respuestas, el contenido cambia

Cuando terminan de llegar las respuestas, el contenido de cada posición ya no es el mismo de antes. Lo recogido se mezcla según su peso y se incorpora al propio contenido. Así, la posición de "eso" queda impregnada con fuerza de la información de "pastel", mencionado antes, y la posición de "luminoso" se impregna de si lo anterior era una habitación o un carácter.

Aquí ocurre que una misma letra pase a significar algo distinto según la frase. Sola, la palabra "vela" tiene varios sentidos, pero al recoger las respuestas de las palabras de alrededor queda claro si se trata de encender una en casa o de izarla en un barco.

Todas trabajan a la vez

El método anterior tenía que procesar la primera palabra antes de pasar a la segunda: era una fila esperando turno. La autoatención no tiene ese orden. Como cada posición mira a todas las demás a la vez, todo se puede calcular simultáneamente.

Este punto trajo el cambio más grande en la práctica. Encajó justo con la capacidad de los chips de cálculo para procesar miles de tareas a la vez, y el entrenamiento se volvió incomparablemente más rápido. Es la razón práctica por la que hoy existen modelos tan grandes.

A cambio, se pierde la información de orden. Si todas se miran a la vez, no se sabe quién va antes y quién después. Por eso hay que añadir, aparte, una marca de orden a cada posición.

Capa tras capa, la vista se amplía

No termina con recoger respuestas una sola vez. Con el contenido ya actualizado, se reparte otra nota y se repite el proceso en varias capas. En la segunda capa ya se intercambia contenido con contexto incorporado, así que se pueden ver relaciones mucho más amplias.

Se observa que las capas de abajo captan sobre todo la relación con la palabra de al lado o las parejas gramaticales, mientras que hacia arriba se capta más el tema general o el hilo lógico de la frase. Lo que cada capa mira cambia un poco en cada nivel.