LoRA

本体は固定しておきます

モデル全体を整える方式は内側の値を全部少しずつ動かします。LoRAはその値を丸ごと固定します。学習が回っている間、本体の値は一つも変わりません。

代わりに層ごとに小さな付け足しを一つずつ付けておき、その付け足しだけを学びます。計算するときは本体が出した値に付け足しが出した値を足して次に渡します。レンズを通った光が目に届くのと同じ順番です。目が変わったのではなく、目に届く前に一枚を通っただけです。

付け足しがそんなに小さくてよい理由

ここで気になるのはこれです。本体の値が数十億個なのに、付け足し数百万個で何ができるのかということです。

要は変えるべきものが値そのものではなく、値の変化量だという点にあります。ある話し方や画風に合わせるために動かすべき変化量は、たいてい結が単純です。方向が数種類にまとまり、残りはほぼ0に近いのです。結が単純なものは薄い板二枚を重ねるだけで十分に表せます。だから付け足しの大きさを元の場所の数百分の一に減らしても、必要な変化がほとんど収まります。

この薄さを人が決めます。薄く取ればファイルが小さく速い代わりに収められる変化が少なく、厚く取ればその逆です。

入れ替えたり重ねたりできます

全体を整える方式は終えるたびに本体と同じ大きさの新しいモデルが一つずつ生まれます。用途が十個あれば大きなファイルが十個積み上がります。LoRAは本体一つに小さな付け足しファイル十個です。保存する場所も持ち運ぶ手間も桁が違います。

使い方も柔軟です。今日はこの画風、次はあの画風と入れ替えられ、二つの付け足しを一緒に乗せて混ぜることもできます。それぞれをどれだけ強く反映するか強さを調節することもあります。画像生成ツールで画風ファイルをダウンロードして乗せるのがまさにこれです。

軽いという言葉の実際の意味

学習するとき手間が減る場所がいくつもあります。直す値が少ないので、学習中に抱えておかなければならない中間の値も減ります。だから全体を整えるときは手が出せなかった大きさのモデルも、個人の機材で整えてみられるようになります。

出来上がるものも軽いです。本体が数十ギガバイトなら、付け足しは数十メガバイト程度に落ちることがよくあります。配布と共有がしやすくなったおかげで、画風ファイルをやり取りする文化が根づきました。

できないこともあります

レンズは目が受け取る光を整えるだけです。もともと目に入ってこないものを見えるようにはできません。LoRAも同じです。本体がまったく知らない分野を新しく詰め込む作業には向いていません。

変えたい幅がとても大きいときも限界が来ます。収められる変化の結が決まっているので、本体とまったく違う性格に引っ張っていくには、結局全体を整えるほうがよくなります。資料がとても多く、最後の一歩まで必要なところでは、それでも全体を整える方を選びます。