Transformer

No hacen cola

El método anterior ponía las palabras en fila y las leía de una en una, pasando cada una a la siguiente lo que llevaba leído. Con frases largas, lo del principio se desdibujaba: después de veinte relevos apenas quedaba nada. Y había que esperar a que terminara un turno para empezar el siguiente, así que iba lento.

La mesa redonda resuelve las dos pegas de golpe. La última palabra ve directamente a la primera, por lejos que estén: en "el paraguas que compré ayer me lo dejé hoy en el metro", ese "me lo dejé" agarra sin intermediarios al "paraguas". Y como todas puntúan a la vez, el cálculo se reparte entre miles de tarjetas gráficas. Entrenar con cantidades brutales de texto se volvió posible gracias a esta disposición.

La pregunta se compara con las etiquetas

Cada palabra sentada a la mesa lleva tres cosas: una pregunta en la mano, una etiqueta en el pecho y una carpeta delante. La pregunta dice "qué ando buscando"; la etiqueta, "qué tengo para ofrecer"; la carpeta guarda "lo que voy a entregar".

En la pregunta de "banco" pone algo así como "quién me sitúa". Con ese papel da la vuelta a la mesa y lo compara con todas las etiquetas. La de "parque" encaja bien y saca nota alta; la de "me senté" encaja menos. La nota no es un voto único, sino un reparto: setenta, veinte y diez.

Con el reparto decidido, cada palabra recoge carpetas en esa proporción y con la mezcla reescribe su propio sentido. El "banco" que sale de la reunión ya no es el que entró: lleva el contexto metido dentro. La pregunta es la consulta, la etiqueta es la clave y la carpeta es el valor.

Y esto no lo hace solo "banco". Las cuatro palabras pasean su pregunta a la vez, sin esperarse, así que los cuatro cálculos terminan juntos, y con mil palabras pasaría igual.

La reunión no es una sola

Sin levantarse del sitio se abren varias reuniones en paralelo, y cada una tiene su manía. Una se fija en quién hace pareja con quién; otra, en qué palabra califica a cuál; otra persigue el nombre que apareció antes.

Con una sola reunión la vista se estrecha: por atender a la gramática se pierde el sentido, o al revés. Con ocho o doce mesas mirando cada una a su cosa y juntando después los resultados, una palabra atiende a varias relaciones a la vez, y si una se despista las otras tapan el hueco. A cada reunión se le llama cabeza.

Sin número de asiento, todo se mezcla

Mirarse a la vez significa también no saber el orden, porque en una mesa redonda no hay primero ni último. "El perro mordió al cartero" y "el cartero mordió al perro" llevan las mismas palabras y dicen lo contrario. Sin orden, las dos parecen la misma frase.

Por eso, antes de sentar cada palabra, se le añade su número de asiento. El número no va colgado por fuera como una chapa: se mezcla dentro del propio sentido, y de ahí que una misma palabra se vea algo distinta según el lugar que ocupa. A esto se le llama codificación posicional.

Capas y capas, y al final una palabra

Con una sola ronda no basta. Las palabras salen con su sentido reescrito, suben al piso de arriba y repiten la reunión, y así decenas de pisos. Abajo se atrapa lo cercano, la relación con la palabra de al lado; arriba, lo ancho: el sentido del párrafo o el tono del texto. Nadie reparte esas tareas, la división aparece sola durante el entrenamiento.

Lo que sale del último piso es sorprendentemente simple: una lista de candidatas a siguiente palabra, cada una con su puntuación. Después de "Cansado, me senté en el", la palabra "banco" saca nota alta y "corrió" la saca baja. Se escoge una, se pega al final y la frase vuelve a la mesa desde el principio. Esa repetición, cientos de veces, produce una respuesta entera. Que la IA retome un nombre dicho mucho antes sale de aquí: no guarda un recuerdo, relee entero cada vez todo lo escrito.