信頼度スコアConfidence Score

点数はどこから出てくるか

分類するモデルの最後の段階では、候補ごとに値がひとつずつ出てきます。この値には大きさの制限がなくそのままでは読みにくいので、すべて正の数に変え、互いに割って合計が1になるように揃えます。画面に見えるパーセントはこの結果です。

ここで大事な性質がひとつ生まれます。**合計が1なので、誰かが必ず高い点数を受け取ります。**候補が猫と犬の二つだけなら、どんな写真を入れても片方が必ず半分を超えます。写真が車でも壁紙でも関係なくです。

だから点数が高いということは「他の候補よりこちらに近い」という意味であって、「これが正しい」という意味ではありません。比べる相手が誰かによって、同じ写真の点数が大きく変わります。

80%が80%ではないことがあります

点数90の判断だけを集めて実際にいくつ当たったかを数えると、驚く結果が出ます。よく九十個ではなく七十個ほどしか当たりません。モデルが自分の実力より自分を高く見ているのです。この癖を過信と呼びます。

反対の方向もあります。慎重に学習したモデルは、実際には九十五回当たっているのに点数は70ほどしか付けないこともあります。どちらにせよ数字をそのまま読むと判断が狂います。

直す方法は数えてみることだけです。点数帯ごとに実際の正解率を測って表を作り、その表にあわせて数字を押し下げたり引き上げたりします。この作業を経てはじめて、80という数字を「十回中八回」くらいに読めるようになります。

学習したことのないものにも点数は出ます

一番気をつけるべき点です。猫と犬しか学習していないモデルに車の写真を入れても、「わからない」とは出ません。どちらかが選ばれ、点数までかなり高く付くこともあります。モデルは「これが何か」を問うのではなく「学習した候補のどれに近いか」だけを問うからです。

だから高い点数を「確実にわかっている」という意味に読むと危険です。見慣れない入力から出た高い点数は、むしろモデルが状況をまったくわかっていない合図かもしれません。該当なしを収める候補をもうひとつ作っておくか、そもそも入力が学習した範囲の内側かを別に確かめる仕組みを付け加えます。

どこに線を引くか

実際のサービスでは点数をそのまま見せるより、線をひとつ引いて超えたときだけ反応するようにします。この線をどこに置くかがサービスの性格をまるごと変えます。

線を低く置けば見逃しは減りますが、見当違いの反応が増えます。線を高く置けば見当違いの反応は減りますが、本物も一緒にはじかれます。どちらがよいかは用途が決めます。見逃すと大変な場面では線を低く、誤って知らせると困る場面では高く設定します。

点数を比べてはいけない場面

違うモデルが出した点数は、同じものさしで測った値ではありません。片方の70がもう片方の95より信じられることもあります。二つのモデルを比べるときは、点数ではなく同じ試験資料で実際にいくつ当てたかを見るべきです。

同じモデルの中でも状況が変わると点数の意味が揺らぎます。暗い写真、ぼやけた写真、学習資料にほとんどなかった角度では、点数が実際の実力よりずっと高く出ることもあります。点数は絶対的な成績表ではなく、そのときどきの参考値です。