U-Net

Al encoger se sabe qué es, al agrandar se sabe dónde está

Cuando se encoge una imagen, una sola casilla pasa a representar una zona amplia. Puntos que estaban lejos entre sí terminan cayendo en la misma casilla, así que resulta más fácil tomar una decisión general, como si esto es un gato o un coche. A cambio, se pierde precisión sobre en qué casilla exacta cae un borde.

Agrandar funciona al revés. Cuantas más casillas hay, con más detalle se puede señalar una posición, pero al mirar solo una zona estrecha cuesta más saber qué es el conjunto. Ninguno de los dos, por sí solo, basta para dar una respuesta completa.

U-Net mete las dos cosas en una sola estructura. En la primera mitad va encogiendo sin parar mientras identifica qué es cada cosa; en la segunda mitad va agrandando sin parar mientras devuelve esa decisión a las casillas originales.

Envía la imagen previa a un lado, por un atajo

Por mucho que se esfuerce el lado que agranda, no puede recrear la información fina que ya se descartó. Por eso U-Net guarda la imagen de cada paso mientras baja, y se la entrega tal cual al paso del mismo tamaño mientras sube. A este atajo se le llama conexión de salto.

El lado que sube recibe dos cosas a la vez: la decisión sobre "qué es" que llegó de abajo, y la imagen original sobre "dónde estaba cada cosa" que llegó por el lado. Compara ambas y sube al siguiente tamaño.

Sin esta conexión, los bordes quedan borrosos y los contornos se difuminan. También ayuda a que, al entrenar, la señal llegue bien hasta las capas más profundas, así que el entrenamiento funciona incluso apilando muchas capas.

Sale con el mismo tamaño con el que entró

Un modelo normal de clasificación de imágenes recibe una imagen y devuelve una sola etiqueta. U-Net recibe una imagen y devuelve otra imagen del mismo tamaño. Es una forma pensada para tareas donde cada casilla necesita su propia respuesta.

El objetivo inicial era trazar el contorno de una lesión en una imagen médica: había que marcar, casilla por casilla, hasta dónde llegaba esa zona, así que el tamaño tenía que coincidir. Recortar el fondo de una foto o trazar carreteras en una imagen satelital son tareas con la misma forma de problema.

Qué hace en la generación de imágenes

Hoy el lugar donde más se usa U-Net es en la generación de imágenes. Los modelos de difusión parten de una mancha de ruido y la van generando mientras la limpian poco a poco. En cada paso hace falta algo que indique dónde y cuánto ruido hay que quitar de la imagen actual.

Esta tarea exige que la entrada y la salida tengan el mismo tamaño, que se entienda el conjunto y que también se sepa la posición exacta de cada punto. Es justo lo que U-Net sabe hacer. Por eso, para terminar una sola imagen, la vuelta completa en forma de U se repite decenas de veces, una de las razones por las que generar imágenes tarda más que generar texto.

Se sigue usando

En los últimos tiempos también se usan mucho estructuras que mantienen el mismo tamaño de principio a fin, en lugar de encoger y agrandar en forma de U, porque cuanto más grandes se hacen, mejor rinden. Aun así, U-Net es pequeño, rápido y aprende bien con pocos datos, así que sigue siendo la opción por defecto en herramientas que corren en dispositivos personales o en tareas de trazar contornos.