Vision Transformer

Corta la foto en trozos del mismo tamaño

El primer paso es cortar. La foto se divide, muy apretada, en cuadrados de unos pocos píxeles de lado. En una foto grande pueden salir varios cientos de trozos. Los trozos no se superponen ni dejan huecos, así que, si se juntan todos de nuevo, se reconstruye la foto original completa.

Cada trozo es, en el fondo, un grupo de puntos de color. Ese grupo se comprime en una sola fila de números. Después de este paso, una foto se convierte en varios cientos de filas de números.

Aquí está lo clave: esas filas de números tienen el mismo aspecto que el resultado de cortar una oración en trozos. Por eso se puede usar casi sin modificaciones la estructura pensada para tratar texto. De ahí viene el nombre Vision Transformer.

Sin un número, se pierde el lugar

En el momento en que los trozos se alinean en fila, aparece un problema: en la fila ya no se sabe cuál trozo estaba arriba a la izquierda de la foto ni cuál abajo a la derecha. Si se mezcla el orden de los trozos, el resultado del cálculo sale exactamente igual.

Por eso se le suma a cada trozo un pequeño grupo de números que indica su lugar. Cumple el mismo papel que el número que se le pone a un contenedor. Solo después de agregar esta marca se puede distinguir un trozo de arriba de uno de abajo.

Compara de inmediato trozos lejanos

Aquí es donde se separa de la CNN. La CNN (Convolutional Neural Network, red neuronal convolucional) desliza una ventana pequeña sobre la foto y solo mira los píxeles vecinos en cada paso. Como el rango que ve en un solo paso es angosto, hace falta apilar muchas capas para ampliar la vista hasta el otro extremo de la foto.

El Vision Transformer, en cambio, compara todos los trozos entre sí desde el primer paso. Calcula de inmediato cuánto se relaciona el trozo de arriba a la izquierda con el de abajo a la derecha. Puede unir desde el principio un objeto que quedó fotografiado partido en dos extremos de la imagen.

A cambio, pierde una ventaja que la CNN tenía gratis. Que los puntos cercanos suelen estar relacionados, y que un objeto sigue siendo el mismo aunque se desplace un poco: la CNN ya trae eso incorporado en su propia estructura. El Vision Transformer tiene que aprenderlo todo a partir de los datos.

El precio de no traer nada aprendido de antemano

Por eso, con pocos datos, rinde incluso peor que la CNN. Si se entrena con apenas unas decenas de miles de fotos, no logra captar bien la relación entre los trozos y se tambalea. No traer hábitos previos significa libertad, pero también significa que hay que aprenderlo absolutamente todo desde cero.

En cambio, si primero aprende de forma amplia con muchísimas fotos, después suele dar mejores resultados que la CNN. Los hábitos previos ayudan, pero también son un límite. Por eso se volvió habitual tomar lo que aprendió con un conjunto de datos enorme y ajustarlo después para cada tarea concreta.

La cantidad de trozos es directamente el costo

Como todos los trozos se comparan con todos, si los trozos se duplican, los pares por comparar se cuadruplican. Para subir la resolución de la foto hay que cortar los trozos más chico o aumentar su cantidad, y en ese momento el cálculo crece mucho. Eso pesa bastante en tareas donde la resolución alta importa.

Por eso las estructuras que aparecieron después mezclan otro enfoque: comparar primero los trozos cercanos y, a medida que se avanza, ir fusionando trozos para reducir su cantidad. Empezar fino e ir agrupando de a poco se parece bastante a lo que ya hacía la CNN. Las dos familias terminaron acercándose, tomando prestado lo mejor de cada una.