영상 생성Text-to-Video

한 장이 아니라 이어지는 여러 장

영상은 짧은 것도 수백 장의 그림이 빠르게 넘어가는 것이에요. 몇 초짜리를 만들려면 그림 수백 장이 필요하다는 뜻이죠. 그런데 이 수백 장을 각각 따로 만들면 절대 영상이 되지 않아요. 같은 주문으로 그림을 여러 장 뽑아 이어 붙이면 매 장면이 딴 세상이 돼요.

그래서 영상 생성은 처음부터 여러 장을 한 덩어리로 놓고 만들어요. 첫 장을 만들고 다음 장을 만드는 식이 아니라, 전체를 흐릿한 상태에서 시작해 함께 또렷하게 만들어 가요. 앞뒤를 동시에 보면서 다듬으니 사이가 이어질 수 있어요.

시간을 함께 다뤄요

그림 생성이 가로와 세로 두 방향을 본다면, 영상 생성은 거기에 시간이라는 방향이 하나 더 붙어요. 화면 왼쪽 위 자리는 옆자리와도 관계가 있지만 바로 앞 순간, 바로 뒤 순간의 같은 자리와도 관계가 있어요. 이 시간 방향의 관계를 함께 봐야 움직임이 자연스러워져요.

방향이 하나 늘면 다뤄야 할 값이 곱절로 늘어나요. 같은 화질이라도 다섯 배 길어지면 손이 다섯 배가 아니라 그 이상 들어요. 만드는 데 오래 걸리고 길이가 짧게 끊기는 이유가 여기 있어요.

그래서 흔히 쓰는 방법이 나눠서 하기예요. 먼저 작고 성글게 뼈대를 만들고, 그다음 장면 사이를 채워 부드럽게 만들고, 마지막에 해상도를 올려요. 한 번에 다 하려 들지 않는 거예요.

이어짐이 무너지는 자리

가장 자주 무너지는 것은 등장하는 것의 정체예요. 앞에서 파란 잔을 들고 있었는데 몇 초 뒤에 초록 잔이 되어 있거나, 걷다가 한 걸음 사이에 옷차림이 바뀌는 식이에요. 매 순간을 새로 그리는 방식이라 앞을 잊으면 곧바로 어긋나요.

배경도 자주 흔들려요. 카메라가 옆으로 움직였다 돌아왔을 때 방금 지나온 자리가 다른 모습으로 돌아오는 일이 흔해요. 화면 밖으로 나갔다 들어오는 것은 특히 취약해서, 나갈 때와 들어올 때가 딴판인 경우가 많아요.

글자도 약점이에요. 간판이나 표지판의 글자는 한 장에서도 어려운데, 장면이 넘어가면 획이 계속 꿈틀거려요. 그래서 글자가 중요한 영상은 생성한 화면 위에 따로 얹는 방식으로 만들어요.

물리를 아직 자주 틀려요

물이 위로 흐르거나, 떨어진 물건이 튀지 않고 멈추거나, 유리가 깨졌다가 도로 붙는 장면이 나와요. 세상이 어떻게 돌아가는지를 규칙으로 배운 게 아니라 그럴듯해 보이는 장면을 이어 붙인 결과라서예요.

손에 든 물건을 옮기거나 무언가를 붓는 것처럼 두 가지가 맞닿아 상태가 바뀌는 장면에서 특히 자주 어긋나요. 짧게 자르고 어려운 동작을 피하면 티가 덜 나는데, 이 문제를 정면으로 다루려는 흐름이 세상의 규칙을 안에 담으려는 연구로 이어지고 있어요.

무엇을 주문할 수 있나

주문에는 그림에 쓰던 것들이 그대로 들어가요. 무엇이 있고 어떤 분위기이고 어떤 색인지요. 여기에 영상만의 항목이 붙어요. 카메라를 천천히 밀어 넣을지, 옆으로 훑을지, 고정할지 같은 것들이에요.

시작 그림을 직접 주는 방법도 많이 써요. 마음에 드는 한 장을 먼저 만들어 두고 "이 장면에서 시작해서 이렇게 움직여 줘" 하고 넘기는 방식이에요. 시작점이 정해져 있으니 결과를 훨씬 잘 짐작할 수 있어서, 실제 작업에서는 이 방식이 더 흔해요.