ControlNet

言葉では場所を決めにくいです

注文文は何を描くかを決めるにはよく通じます。ですが「左から光が入って、窓枠が画面右上の三分の一の地点にかかり、椅子は少し斜めに」といった要求は、文に移す瞬間に崩れてしまいます。同じ文を十回入れれば十通りの配置が出ます。

選ぶ番号を固定すれば同じ絵はまた出てきます。しかしそれは絵一枚をつかまえておくことであって、構図をつかまえておくことではありません。文をひと文字直しただけで画面全体がまた崩れます。

ControlNetはこの問題を言葉で解きません。望む配置を線で描いてそのまま渡します。文は文のままにしておき、場所は線で決める方式です。

渡すのは絵ではなく線一枚です

渡す下絵は完成した絵ではありません。写真から境界線だけ抜き出した線画、関節の位置だけつないだ骨格線、画面の各場所がどれだけ遠いかを明るさで示した濃淡地図のように、情報をひとつの層だけ残した絵です。

一つの層だけ残すのには理由があります。参考写真を丸ごと入れると色や質感まで付いてきて、新しく作る余地がなくなります。境界線だけ残せば形は守られつつ色と質感の場所は空いていて、その空いた場所を注文文が埋めます。アイロンでつかまえるのが布ではなく折れる場所ひとつだけなのと同じです。

下絵を手で描く必要もありません。参考写真一枚を入れると線や骨格を抜き出してくれる道具が別にあるので、その結果をそのまま使います。もちろん自分で線を引き入れてもかまいません。

元のものはそのままに線だけ乗せます

ControlNetは画像生成モデルを新しく作るわけではありません。すでに学習を終えたモデルは手を加えず固定したまま、その横に同じ形の写しをひとつ置いて写しだけを学習させます。写しは下絵を読み取って「ここに線がある」という信号に変える作業を学びます。

写しが作った信号は、元のモデルが絵を仕上げていく途中に少しずつ足されます。最初はこの信号が何の影響も与えないよう抑えておき、学習が進むにつれ少しずつ働くよう開いていきます。布の織りには触れず折れる場所だけ加えるのと同じやり方です。

この構造のおかげで、下絵の種類ごとに枝葉を別々に作っておいて必要なとき差し替えられます。線をつかまえる枝葉と姿勢をつかまえる枝葉をそれぞれ付けたり外したり、二つを一度に付けることもできます。

どれくらい強く、どこまでつかむか

下絵をどれくらい強く従うかはつまみひとつで調節します。強くつかむと線を一寸も外れませんが、絵が硬くなり線の外側が貧弱になります。緩くつかむと自然になる代わりに構図が少しずつずれます。アイロンを長く押さえるかさっと当てるかの違いと同じです。

いつからいつまでつかまえるかも決められます。絵はぼやけた塊から始まり何段階も経てくっきりしていきますが、大きな配置は前の段階で決まり、細かい模様は後の段階で決まります。だから前の段階だけつかまえて後ろを緩めると、構図は守りつつ細部は自由に出ます。

何をつかむか選ぶこと

同じ写真から抜き出しても、どの下絵を使うかによって結果が大きく分かれます。境界線を使うと原本の外郭がほぼそのまま残り、骨格線だけ使うと姿勢だけ同じで残りは完全に新しく出ます。遠近だけ使うと空間配置だけ残り、何を置くかは注文文が決めます。

だから「何を守り何を変えるか」を先に決めてから下絵の種類を選ぶのが順序です。守るものを詰め込みすぎると新しく作る余地がなくなり、少なすぎるとつかまえた意味がなくなります。