損失関数Loss Function

ズレを一つの数値にまとめる

モデルが答えを一つ出すと、正解と見比べます。このとき出てくる差は、いくつもの形を取り得ます。値が高く出たのか低く出たのか、どの項目でズレたのかはさまざまです。損失関数は、こうしたズレをすべて決まった規則でまとめ、一つの数値にします。

数値が一つでなければならない理由があります。二枚を見比べてどちらが良いか決めるには、比べられる値が一つしかない必要があるからです。焼き色はこちらが良く、中身はあちらが良い状態では、次に何を変えるべきか決められません。

データ一つひとつの罰点を、まとまり全体で平均して使うのも同じ理由です。今日焼いた一枚一枚ではなく全体の成績が一つ出て初めて、次の一枚を決められます。

罰点の付け方が結果を決める

同じパンでも、採点表が違えば点数が変わります。ズレの大きさをそのまま足す表もあれば、ズレの大きさを掛けて足す表もあります。掛けて足すと、少しのズレはほとんど数えられず、大きなズレだけが目立ちます。真っ黒に焦げたパン一つが、他の九つを覆い隠してしまうのです。

だから表を選ぶことは好みではなく方針です。大きなズレを何としても防ぎたい場面なら、掛けて足す表が向いています。たまに出る風変わりなデータに振り回されたくないなら、そのまま足す表のほうが良いでしょう。

パン屋で言えば、お客さんが一番嫌がるものによって表が変わります。焦げに強く怒る街なら焦げに罰点を集め、するとオーブンは少し生焼け寄りに傾きます。

測ることと減らすことは別の作業

損失関数の仕事は測るところで終わります。12点だと教えてくれるだけで、温度をどちらへ回すべきかまでは言いません。どの方向へどれだけ動かすかを決めるのは、次の段階の役目です。

そのため採点表には一つ条件が付きます。少し変えたら点数も少し変わる必要があるのです。温度を1度上げたら点数がぷつりと切り替わるようでは、どちらへ回すべきか分かりません。損失関数をなめらかな規則で組む理由がここにあります。正解の個数を数える方式は人が見るには分かりやすくても、少し変えても個数が変わらないため学習には使えません。

何を当てるかで表が変わる

答えが数値なら、差をそのまま測ります。膨らみが何ミリ足りなかったかという具合です。回帰で使う表がこちらです。

答えが名札なら、方式が変わります。当たったか外れたかではなく、どれだけ確信していたかを見ます。正解の枠にどれだけ重みを置いたかを測り、確信を持って外したときに一番大きな罰点を与えます。あやふやに外すより、自信満々で外すほうが痛い扱いになるわけです。こうして初めて、モデルは当てることだけでなく確信の度合いまで整えるようになります。

損失が低いことと結果が良いことは別

採点表は人が作った代役です。本当に望んでいるのはお客さんがおいしいと言うパンなのに、測れるのは焼き色と膨らみだけです。だから点数は良いのに味はいまひとつ、ということが起こります。

モデルも同じです。損失が目に見えて下がったのに、実際に使うと変な場合がよくあります。練習データの罰点だけを減らそうとして初めて見るデータで崩れたり、採点表に入っていない性質をまるごと無視したりします。だから学習に使う損失と、人が見る評価指標を別に用意して、両方を見ます。