平均二乗誤差Mean Squared Error

まず一杯ずつ外れた距離を測る

当てたい値と実際に出した値があります。二つの間の距離がそのコップの誤差です。目標より上に行っても下に行っても距離そのものは同じ形になります。

この距離をそのまま全部足すと方向が互いを打ち消します。一日のうち半分が多く半分が足りなければ合計はほぼゼロになり、一日中手が震えていたのに完璧だったという結論になります。方向を消して大きさだけを残す手直しが必ず必要です。

方向を消す方法は二つあります。符号を外して距離だけを数える方法と、二乗する方法です。平均二乗誤差は後者を選びました。

なぜよりによって二乗か

二乗は方向を消すついでに、もう一つの性質を加えます。小さいずれはより小さく、大きいずれはずっと大きくします。一目盛り外れたコップの罰点が1のとき、三目盛り外れたコップの罰点は9です。三倍ずれたのに罰点は九倍付きます。

これはたいていの場合、望ましい態度です。目盛りから一目盛り外れたコップは飲んでも目立ちませんが、三目盛り外れたコップはもう使えません。失敗の痛みがずれの大きさに比例して均等に増えるのではなく、ずっと急に増えることが多いからです。

学習でもこの性質が役立ちます。大きく外れた場所で罰点が急に跳ね上がるため、モデルをどちら向きにどれくらい直すべきかがはっきり見えます。目標に近づくほど罰点の変化が緩やかになるので、仕上げも穏やかになります。

平均を取ると個数に左右されなくなる

罰点をただ足すだけだと、コップが多い日の値が必ず大きくなります。それでは昨日と今日を比べられません。そこで最後にコップの数で割ります。これで値は「一杯あたりの平均罰点」になり、コップが十個でも千個でも比べられます。

名前の三つの言葉がそのまま計算の順序です。誤差は外れた距離、二乗はその距離を二乗すること、平均は最後に個数で割ることです。順序を覚えるより、なぜその順序なのかを知っておくと、ほかの罰点を見るときにも読み解けます。

一杯が一日を台無しにする

この罰点のいちばん大きな性質は、飛び抜けた値に弱いことです。百杯のうち九十九杯が一目盛り以内で正確で、一杯だけ十目盛り外れたとします。九十九杯が作った罰点を全部合わせても、その一杯の罰点より小さくなります。

この性質は状況によって長所にも落とし穴にもなります。大きく外れることが本当に大事故になる問題なら、こう罰点を付けるのが正しいです。ですが資料に誤って記録された値が混じっているなら、モデルはその誤った値一つを当てようとして残り全部を犠牲にする方向へ引っ張られます。

だからこの罰点を使う前に資料をまず見ます。飛び抜けた値の正体を確認し、本当に起きたことでなければ手直ししてから学習を始めます。飛び抜けた値が本物で、その影響が重すぎるなら、距離をそのまま数える罰点のように緩やかな方式に変えることもあります。