拡散モデルDiffusion Model

壊す練習を先にします

学習は絵を作る側からではなく、**壊す側から始まります。**写真を一枚置いて、ごく薄いノイズを一枚かぶせます。その結果にまた一枚、また一枚と重ねていくと、数百回後には元が何だったのかわからない板が残ります。

こうしてできた途中段階はすべて、問題と答えが対になった練習問題になります。ノイズが三枚重なった画面を見せて、直前に重なったノイズがどんなものだったかを当てさせる形です。答えは重ねるときに記録しておいたので、いつでも確かめられます。

この練習を何億回も繰り返すと、どんな画面を見せられても「ここがノイズに見える部分はこれくらい」と指し示せるようになります。絵を作る力ではなく、ノイズを見分ける力を先に育てているわけです。

作るときは逆に取り除きます

絵を作るときは写真ではなく、意味のないノイズ画面を一枚新しくまいて始めます。ここに向かって「ノイズに見える部分はどこか」と尋ねると答えが返ってきます。その答えを少しだけ差し引くと、画面がほんの少し整います。

整った画面をまた差し出して同じ質問をします。この問い直しを何十回も繰り返すと、ノイズの間になかった形が徐々に定まっていきます。元の写真を取り戻すのではなく、**今までどこにもなかった絵が新しく作られます。**出発画面がどんな写真とも無関係だからです。

一気に取り除かない理由があります。ノイズだらけの画面からいきなり完成作へ飛べと言われると、推測が大きく外れます。少し差し引いてまた見る方式なら、毎回の推測がずれた分を次の一歩ですぐ直せます。

最初のノイズ模様が結果を決めます

出発画面のノイズはでたらめにまかれますが、一度まかれるとその模様が結果を大きく左右します。どの場所が少し濃かったかが最初の判断を変え、その判断が次の一歩へとつながっていくからです。

そのため、同じ指示を入れても出発模様が違えば構図も色もまったく違う絵になります。逆に出発模様をそのままにして指示だけを少し変えると、似た構図を保ったまま細部だけが違う絵が得られます。気に入った結果を少しずつ手直しする作業は、この性質の上に成り立っています。

取り除いている途中で方向づけをします

ノイズを指し示すたびに、絵の説明文を一緒に差し出せます。「黄色い野原」という説明がついていれば、ノイズを取り除く方向がそちらへ傾きます。一歩ごとにこの説明を参照し直すので、方向づけは最初の一回だけでなく何十歩もの間ずっと働き続けます。

説明にどれだけ強く従わせるかも調整できます。弱くすると自由になりますが指示から離れ、強くすると指示に忠実になる代わりに色が飽和したり形が硬くなったりしやすくなります。出したくないものを別に書いて反対方向へ押し出す方法も、同じ原理を使っています。

段階を何回踏むかが仕上がりと時間を分けます

何段階に分けて取り除くかは人が決めます。段階が少ないと一度に多く取り除かなければならず推測が粗くなり、結果につぶれた跡が残りやすくなります。段階を増やすとなめらかになりますが、その分計算が増えて待ち時間も長くなります。

**段階を際限なく増やしても良くなり続けるわけではありません。**あるところを超えると目に見える違いがほとんどなくなり、時間だけが増えます。取り除くこつを改良して少ない段階でも似た結果を出す方法が今も次々に出てきています。