動画生成Text-to-Video

一枚ではなくつながる複数枚

動画は短いものでも数百枚の絵が素早く切り替わるものです。数秒のものを作るにも数百枚の絵が必要だということです。ですがこの数百枚をそれぞれ別々に作ると、決して動画にはなりません。同じ注文で絵を何枚も出してつなげると、場面ごとに違う世界になってしまいます。

だから動画生成は最初から複数枚をひとまとまりにして作ります。一枚目を作ってから次の一枚を作る方式ではなく、全体をぼんやりした状態から始めていっしょにくっきりさせていきます。前後を同時に見ながら整えるので、間がつながるのです。

時間も一緒に扱います

絵の生成が横と縦の二方向を見るなら、動画生成にはそこに時間という方向がもうひとつ加わります。画面左上の場所は隣の場所とも関係がありますが、直前の瞬間、直後の瞬間の同じ場所とも関係があります。この時間方向の関係も一緒に見てこそ動きが自然になります。

方向がひとつ増えると扱う値が倍以上に増えます。同じ画質でも五倍長くなると、手間は五倍どころかそれ以上かかります。作るのに時間がかかり、長さが短く区切られる理由がここにあります。

だからよく使われる方法が分けて行うことです。まず小さく粗い骨組みを作り、次に場面の間を埋めて滑らかにし、最後に解像度を上げます。一度に全部やろうとしないのです。

つながりが崩れる場所

もっとも崩れやすいのは登場するものの正体です。前で青いコップを持っていたのに数秒後には緑のコップになっていたり、歩いている途中の一歩で服装が変わったりします。毎瞬を新しく描く方式なので、前を忘れるとすぐにずれます。

背景もよく揺れます。カメラが横に動いてまた戻ってきたとき、さっき通り過ぎた場所が違う姿で戻ってくることがよくあります。画面の外へ出てまた入ってくるものはとくに弱く、出るときと入るときがまるで違う場合が多いです。

文字も弱点です。看板や標識の文字は一枚でも難しいのに、場面が切り替わると画も絶えず揺らぎます。だから文字が重要な動画は、生成した画面の上に別に載せる方式で作ります。

物理をまだよく間違えます

水が上向きに流れたり、落ちた物が跳ねずに止まったり、割れたガラスがそのまま元に戻ったりする場面が出ます。世界がどう動くかを規則として学んだのではなく、それらしく見える場面をつなげた結果だからです。

手に持った物を移したり何かを注いだりするように、二つが触れて状態が変わる場面でとくにずれやすいです。短く切って難しい動作を避けると目立ちにくくなりますが、この問題を正面から扱おうとする流れが、世界の規則を中に取り込もうとする研究へつながっています。

何を注文できるか

注文には絵で使っていたものがそのまま入ります。何がありどんな雰囲気でどんな色かです。ここに動画だけの項目が加わります。カメラをゆっくり押し込むか、横に流すか、固定するかといったことです。

始まりの絵を直接与える方法もよく使われます。気に入った一枚を先に作っておき、「この場面から始めてこう動いて」と渡す方式です。始点が決まっているので結果をずっと見当づけやすく、実際の作業ではこの方式のほうがよく使われます。