残差接続Residual Connection

層は差分だけを学ぶ

普通の層は、受け取った値をまるごと新しい値に変えて送り出します。この層に近道を付けると役割が変わります。層が出すのは完成品ではなく、元の値と目標の差です。だから余りという字を使って残差接続と呼びます。

差分だけ作ればいいので、層の仕事はずっと楽になります。今の値がすでに十分に良ければ、何も足さず0に近い値を出せばよいのです。これは思ったより大きな違いです。近道がなければ、層は何もしない状態すら手加減を正確に合わせてやっと真似できるからです。

層を百個積んでおいて、そのうち三十個だけ実際に働かせることも可能になります。残りは受け取った値をそのまま流します。

足し合わせるには大きさが揃っていないといけない

近道から来た値と層が作った値を合わせるには、二つの形が同じでなければなりません。数字のまとまりの長さが違えば足せないからです。そのため近道でつなぐ区間は、たいてい入りと出の大きさが同じになるよう設計します。

大きさが変わる場所では、近道側にごく軽い変換を一つ挟んで大きさを合わせます。画像モデルで絵が小さくなりチャンネルが増える場面がそうした場所です。ただしこの変換は最小限にとどめるのが原則です。近道が複雑になれば近道ではなくなってしまうからです。

近道がないと深いほど悪化した

層を深く積めば表現力が増すのだから成績も良くなるはずだと考えがちです。ところが実際は逆でした。層を二十から五十に増やすと、新しく学ぶデータはもちろん、すでに学んだデータでさえ成績が落ちました。

丸暗記の問題とは種類が違いました。浅いモデルが出した答えをそのまま真似するだけでも最低限同じ成績が出るはずなのに、深いモデルはそれすらできませんでした。表現力が足りないのではなく、学習そのものがうまく進んでいなかったのです。近道が登場するとこの壁は崩れ、百層を超えるモデルが実際により良い成績を出し始めました。

学ぶ信号も近道を通って戻る

学習は、答えがどれだけ外れたかを頂上で測り、下の層へさかのぼって送り返す方法で行われます。層を一つさかのぼるたびに、この信号はその層の計算に巻き込まれて少しずつ減ったり増えたりします。層が数十個あると、下の層に届く頃には信号がほとんど消えています。

近道があれば、さかのぼる信号もその道を通って下ります。層を通らない通路が一本あるので、下の層まで元の強さに近いまま届きます。深いモデルの最初の層がようやくきちんと学べるようになった理由です。

今のモデルにはどれも入っている

近道は画像認識モデルで最初に大きく成功しましたが、今ではほとんどすべての構造に標準で入っています。言語モデルの中のブロックを一つ開くと、注意機構の後に一回、その後に続く層の後にもう一回、こうして二回の近道があります。

そのため、値が層を通るたびにすっかり作り替えられる代わりに、下から上まで一直線につながる太い幹が一本できます。各層はこの幹に自分の分を少しずつ足すだけです。層正規化のような装置がいつも組になって付いてくるのも、足し続けるだけでは値がどんどん大きくなってしまうからです。