剪定Pruning

なぜ使われない接続がそんなに多いのでしょう

モデルは最初からぴったりの大きさで作られるわけではありません。余裕を持って大きめに作っておいて学習させます。大きく作ったほうが学習がうまく進むからです。そのため学習が終わると、実際に答えに力を貸す接続と、値が0付近をさまよっているだけの接続が混ざり合っています。

値が0に近い接続は、何を掛けても結果にほとんど寄与しません。それでも計算のときは同じように場所を占め、同じように掛け算を一回させます。こうした接続が全体の半分を超えることも珍しくありません。

剪定はこの接続を選んで切ります。切られた場所は0のまま残り、計算のときに丸ごと飛ばせる印になります。

何を取り除くかどう選ぶのでしょう

最もよくある基準は値の大きさです。0に近い順に並べて下のほうを切ります。手間が少なく、それなりによく通用します。

値だけを見ると見落とすこともあります。値が小さくても運悪く重要な要所にあると、切った瞬間に後ろが崩れます。そのためこの接続を消したとき答えがどれだけ揺らぐかを実際に測って選ぶこともあります。層ごとに切ってよい量が違う点も重要です。前のほうの層はたいてい余裕がなく、後ろのほうの層は余裕がある傾向にあります。

少し切っては学び直します

一度に大きく切ると答えが目に見えて悪くなります。そこで少し切り、残った接続で短く学び直させて空いた場所を埋めさせます。この二段階を何度も繰り返します。

同じ量を切っても、この方式なら性能の落ち込みがずっと小さくなります。残った接続が消えた接続の分担を少しずつ引き受けるからです。逆に学び直しなしに切って終わりにすると、切った量に比例して答えが崩れます。

散らばった剪定と丸ごとの剪定

接続を一つ一つ選んで切ると、残った接続は表のあちこちに散らばります。消された升目が多くても表の形はそのままなので、普通の計算装置は依然として表全体を確認します。容量は減っても速度は期待ほど上がらないことがよくあります。

そこで列やまとまりを丸ごと取り除く方式も一緒に使います。使われないニューロン一つを丸ごと抜くか、画像モデルでほとんど反応しないフィルターを丸ごと抜くといった具合です。表が実際に小さくなるので計算も本当に減ります。代わりに丸ごと取り除く分だけ性能が大きく揺らぐので、切る量はより慎重になります。

量子化と何が違うのでしょう

どちらもモデルを軽くしますが、手を付ける場所が違います。量子化は数字を一つも捨てず、書き込む目盛りだけを粗くします。剪定は目盛りをそのままにして、数字の個数を減らします。

メニュー表で見るとこう分かれます。量子化はすべてのメニューをそのまま残して値段表を百円単位に丸めて書く作業で、剪定は出ないメニューを表から消す作業です。互いに邪魔をしないので、先に消してから残ったものを丸めるというように一緒に使うこともあります。