Generación de videoText-to-Video

No un solo fotograma, sino muchos que se encadenan

Hasta un video corto es, en realidad, cientos de imágenes pasando deprisa. Para unos pocos segundos hacen falta cientos de fotogramas. Pero si esos cientos se generan cada uno por separado, jamás se convierten en un video: si se piden varias imágenes con la misma frase y se ponen en fila, cada fotograma parece de un mundo distinto.

Por eso la generación de video trata desde el principio varios fotogramas como un bloque único. En vez de hacer el primer fotograma y luego el siguiente, se parte de todo el conjunto en estado borroso y se va afinando junto, a la vez. Al mirar el antes y el después de manera simultánea, el hilo puede mantenerse.

Se trabaja el tiempo a la vez

Si generar una imagen mira dos direcciones —ancho y alto—, generar un video suma una tercera: el tiempo. El punto de arriba a la izquierda de la pantalla se relaciona con el punto vecino, pero también con el mismo punto un instante antes y un instante después. Hay que atender juntas esas relaciones en el eje del tiempo para que el movimiento se vea natural.

Sumar una dirección más multiplica los valores que hay que manejar. Con la misma calidad de imagen, alargar cinco veces la duración no cuesta cinco veces más esfuerzo, sino bastante más. De ahí que tarde tanto en generarse y que la duración salga tan corta.

Por eso el método habitual es dividir el trabajo por etapas: primero se crea un esqueleto pequeño y suelto, después se rellena entre escenas para suavizar, y al final se sube la resolución. No se intenta hacer todo de una vez.

Dónde se rompe el hilo

Lo que más falla es la identidad de lo que aparece. Alguien sostenía un vaso azul y, unos segundos después, es un vaso verde; alguien camina y en un solo paso la ropa cambia de aspecto. Como cada instante se dibuja de nuevo, en cuanto se olvida lo anterior, se desajusta enseguida.

El fondo también tiembla con frecuencia. Cuando la cámara se mueve hacia un lado y vuelve, el lugar por el que acaba de pasar suele volver con otro aspecto. Lo que sale de cuadro y vuelve a entrar es especialmente frágil: a menudo se ve muy distinto al salir y al volver.

El texto también es un punto débil. Las letras de un letrero o una señal ya son difíciles en un solo fotograma, y al pasar de una escena a otra los trazos siguen moviéndose. Por eso, cuando el texto importa, se suele superponer aparte encima de la escena generada.

Todavía falla a menudo con la física

Aparece agua que fluye hacia arriba, un objeto que cae y no rebota, sino que se detiene, o un vidrio que se rompe y vuelve a unirse. Es porque no se aprendió como una regla de cómo funciona el mundo, sino que se encadenaron escenas que parecían verosímiles.

Falla especialmente en escenas donde dos cosas se tocan y algo cambia de estado: mover un objeto con la mano, o verter algo. Cortar la escena corta y evitar movimientos difíciles disimula el problema, y la corriente que intenta enfrentarlo de frente está llevando a investigar cómo incorporar las reglas del mundo dentro del modelo.

Qué se puede pedir

En la petición entra todo lo que ya se usaba para imágenes: qué hay, qué ambiente, de qué color. A esto se suman elementos propios del video: si la cámara avanza despacio, si recorre de lado a lado, o si se queda fija.

También se usa mucho dar directamente una imagen de partida: se hace primero una imagen que guste y se le indica "empieza en esta escena y muévete así". Como el punto de partida ya está fijado, el resultado se puede prever mucho mejor, y en el trabajo real este método es el más frecuente.