ControlNet

Con palabras es difícil fijar la posición

Una frase de encargo funciona bien para decidir qué dibujar. Pero un pedido como "la luz entra desde la izquierda, el marco de la ventana cae en el tercio superior derecho, la silla queda apenas de costado" se deshace apenas se intenta poner en palabras. Meter la misma frase diez veces da diez composiciones distintas.

Fijar el número que elige la mancha de partida hace que vuelva a salir la misma imagen, pero eso sujeta una sola imagen, no la composición: basta con cambiar una letra de la frase para que la escena se desordene de nuevo.

ControlNet no resuelve esto con palabras. Traspasa directamente, en forma de línea, la disposición que se quiere: la frase queda como frase, y la posición la decide la línea.

Lo que se traspasa es una sola capa de línea, no un dibujo

El boceto que se entrega no es un dibujo terminado. Es una imagen de la que solo queda una capa de información: un dibujo de líneas sacado de los bordes de una foto, líneas de esqueleto que unen la posición de las articulaciones, o un mapa de tonos que marca con brillo qué tan lejos está cada punto de la escena.

Que quede solo una capa tiene su motivo. Si se metiera la foto de referencia entera, el color y la textura vendrían pegados con ella y no quedaría margen para generar algo nuevo. Al dejar solo el contorno, la forma queda sujeta mientras el color y la textura siguen vacíos, y ese vacío lo llena la frase del encargo, como planchar solo el pliegue, no toda la tela.

Tampoco hace falta dibujar el boceto a mano: hay herramientas que, a partir de una foto de referencia, extraen la línea o el esqueleto. Por supuesto, también se puede trazar la línea directamente.

Lo original se deja tal cual, y solo se agrega una línea

ControlNet no arma de nuevo el modelo de generación de imágenes. Deja el modelo ya entrenado sin tocar y congelado, y al lado le pone una copia de la misma forma, entrenando solo esa copia, que aprende a leer el boceto y convertirlo en una señal de "acá hay una línea".

Esa señal se suma en medio de los pasos con los que el modelo original va afinando la imagen. Al principio queda apagada, sin ningún efecto, y a medida que avanza el entrenamiento se le va abriendo el paso poco a poco: el mismo principio que planchar un pliegue sin tocar el resto de la tela.

Gracias a esta estructura, se puede entrenar una rama distinta para cada tipo de boceto y cambiarla según haga falta, poniendo o quitando por separado la que sujeta la línea y la que sujeta la pose, o incluso las dos a la vez.

Qué tan fuerte y hasta dónde sujetar

Qué tan fuerte se sigue el boceto se ajusta con una sola perilla. Apretado, no se sale de la línea ni un poco, pero la imagen queda rígida y lo que está fuera de la línea sale pobre. Suelto, se ve más natural, pero la composición se corre de a poco. Es la misma diferencia que planchar apretando mucho tiempo o solo rozar de pasada.

También se puede decidir desde cuándo hasta cuándo se sujeta. La imagen empieza como una mancha borrosa y se va aclarando por etapas; la disposición general se decide en las primeras etapas y los detalles finos, en las últimas. Por eso, si se sujeta solo en las etapas iniciales y se suelta el resto, la composición queda fija mientras los detalles salen con libertad.

Elegir qué sujetar

Aunque se saque de la misma foto, el resultado cambia mucho según qué tipo de boceto se use. Con el contorno, el exterior del original queda casi igual; con solo el esqueleto, únicamente la pose se mantiene y el resto sale completamente nuevo; con solo el mapa de profundidad, se mantiene la disposición en el espacio y la frase decide qué va en cada lugar.

Por eso conviene decidir primero qué mantener y qué cambiar, y recién después elegir el tipo de boceto.