正則化Regularization

誤差だけ減らすと値が大きくなります

学習は誤差を下げる方向にだけ動きます。ところが資料にある点の一つひとつを正確に当てようとすると、答えを表す線が点の間を行き来しながら大きく曲がります。こう曲がるには一部の値がとても大きくなければなりません。値が大きいほど、入力が少し変わるだけで結果が大きく振れるからです。

こうしたモデルは学習に使った資料での成績はとても良くなります。けれども初めて見る資料が来ると大きく外します。資料に混じった雑音までそっくり写し取ってしまったからです。過学習と呼ばれる状態がこれです。

値が大きいということは、その値一つに結果が大きく依存しているという意味でもあります。その特徴が少し変わるだけで答えが揺らぎます。だから大きな値は、それ自体が危うい信号なのです。

大きさに罰を科します

正則化は学習が測る損害に項を一つ足します。これまでは「どれだけ間違えたか」だけを見ていたのを、これからは「値がどれだけ大きいか」も一緒に見ます。二つを合わせた値を下げる方向に学習が動きます。

すると、値を大きくして誤差を少し減らすという選択が損害になります。誤差が大きく減る場合にだけ値を大きくし、そうでなければ値を小さいままにする方を選ぶようになります。結果として答えを表す線がなめらかになり、初めて見る資料でも近い成績が出ます。

値を動かす計算にもこの項がそのまま反映されます。一歩ごとに値が少しずつ0に引き寄せられる力が一つ増えるわけです。この方式は重み減衰と呼ばれることもあります。

罰の強さを決めます

重りをどれだけ重くするかは人が決めます。この値が小さすぎると罰があってもないのと同じで、値がそのまま跳ね上がります。逆に大きすぎるとモデルが値を大きくできず、資料にある本当の規則まで見逃します。資料がありきたりな答えしか出さない状態になってしまいます。

ちょうどよい強さは資料の量とモデルの大きさによって変わります。資料が少ないほど覚え込みやすいので罰を強くかけ、資料が十分あれば弱くかけても構いません。実際にはいくつかの強さで試してみて、別に取り分けた資料で成績が一番良い値を選びます。

罰の科し方には二種類あります

値の大きさをどう測るかによって結果が変わります。値を二乗して足す方式は、大きな値に特に重い罰を科します。値は全体的に小さくなりますが0にはならず、複数の値が均等に少しずつ役割を分け合うようになります。

値の大きさをそのまま足す方式は性格が違います。役に立たない値をまるごと0に押し下げてしまうので、実際に使われる値の数そのものが減ります。どの特徴が役に立たないかを見分けたいときはこちらを選びます。二つを混ぜて使うこともあります。