量子化Quantization

個数はそのまま、桁数だけ減らします

モデルの中には学習で決まった数字が数十億個入っています。もとはこの数字を小数点以下まで余裕のある桁数で保存します。細かい違いまで盛り込めますが、一つあたりの場所を多く使います。

量子化はこの数字を粗い目盛りに移し替えます。目盛りの間に挟まった値は最も近い目盛りに丸めます。数字が消えることも、接続が切れることもありません。表の升目の数はそのままで、升目に書かれた数字が短くなるだけです。

桁数を半分に減らせば容量もおよそ半分になります。四分の一まで減らすことも珍しくありません。十数ギガバイトのモデルが四、五ギガバイトまで下がれば、そこから個人のパソコンで動かせる代物になります。

目盛りをどこに掛けるかが腕の見せどころです

目盛りを粗くするとき、値をどの区間に広げるかを決める必要があります。ほとんどの数字が0付近に集まっているのに目盛りをとても大きな値まで広く取ってしまうと、肝心の0付近がまるごと一つの目盛りに潰れてしまいます。

そこで層ごと、あるいは行ごとに別々の目盛り間隔を決めます。大きく飛び出す少数の数字だけ元の桁数で残し、残りだけ減らす方法も使います。同じ桁数まで減らしても、この調整をどれだけうまくやったかによって結果の質はかなり分かれます。

小さな例のデータを流しながら、実際にどの値がどこに集まるかを測ってから目盛りを合わせることもあります。学習をやり直すわけではなく目盛りを合わせるだけなので、数分から数時間で終わります。

ノートパソコンやスマートフォンでAIが動く理由

モデルを動かすとき最も時間を食うのは計算そのものではなく、数字をメモリから取り出す作業です。桁数が短くなると、同じ時間でより多くの数字を運べます。だから答えが出る速度が目に見えて速くなります。

グラフィックメモリに全部載るかどうかも分かれ目です。モデルがメモリに入りきらないと、断片を入れ替え続けなければならず速度が大きく落ちます。ブラウザの中で動く対話AI、インターネットなしで使う翻訳機、スマートフォンの写真整理機能は、たいてい目盛りを減らしたモデルです。

何を失うかも知っておくべきです

軽くなった分だけ代償があります。丸め込みのせいで元の値と少しずつずれ、そのずれが層を通るたびに少しずつ積み重なります。答え一行を書くのにも層を何十回も通るので、最初は見えなかった違いが後ろに行くほど表れます。

特にぎりぎりで分かれていた判断が揺らぎます。長い計算やコードのように一文字でも違えば結果がずれるもの、答えがとても長くなるもので違いが目立ちます。逆に軽い会話や要約では違いに気づきにくい傾向があります。

剪定とは別の方法です

モデルを軽くする方法なので剪定とよく一緒に語られますが、していることは違います。量子化は数字を一つも捨てません。全部残したまま書き方だけを粗く変えます。剪定は逆に使われない接続をまるごと無くして個数を減らします。

二つは互いに邪魔をしないので一緒に使うこともあります。まず使われない接続を取り除いて個数を減らし、残った数字の目盛りを粗く変えるという具合です。