正解率Accuracy

正解したか数えるには答案が先に要る

正解率は自然に出てくる数字ではありません。AIが出した判定一つひとつの横に、実際には何であったかが記された資料が並んでいて、はじめて数えられます。この資料が正解データです。

だから正解率を測るという言葉には、二つの準備が付いてきます。一つは判定を受ける資料をあらかじめ取り分けておくこと、もう一つはその資料の本当の答えを人が確認しておくことです。学習に使った資料で正解率を測ると、答えを覚えていた結果がそのまま点数になってしまうので、試験用の資料は学習から完全に外しておきます。

一つの数字に縮めると消えるもの

正解率は判定結果をたった二つの山にしか分けません。正解と不正解です。その中でどんなふうに間違えたかは、すべて同じ扱いを受けます。

返却ボックスに戻ると、間違え方は二通りあります。無事な本を破損と表示すること、破れた本を異常なしとして通してしまうこと。前の間違いはもう一度確認させるだけの手間ですが、後の間違いは次の人が破れた本を受け取ることになります。重さがまるで違うのに、正解率はどちらも「不正解一回」として数えます。

どんなふうに間違えたかを分けて見るには、四つの場合を枠に分けて書き出す必要があります。その表が混同行列で、適合率と再現率はその表の枠から生まれます。

まれな出来事を探すと正解率が崩れる

片方が圧倒的に多い資料では、正解率がとても簡単に膨らみます。100冊のうち破損した本が一冊だけなら、開いて確かめもせず全部異常なしとして通しても99パーセントになります。この状態をクラス不均衡と呼びます。

こういう場面での正解率99パーセントという言葉は、性能ではなく資料の形を教える数字です。探したいことがまれであるほど、何もしないほうの点数が高くなるからです。まれなものを見つけ出す仕事であるほど、正解率はもっとも信じにくい指標になります。

判断のコツが一つあります。正解率を見る前に「まったく判断しない機械なら何点だろう」を先に計算してみることです。その点数よりはっきり高くないなら、そのモデルはまだ何も学んでいないのと同じです。

試験問題が変われば点数も変わる

同じモデルでも、どんな資料で測るかによって正解率は大きく変わります。入ったばかりの新しい本だけを集めて試験すれば点数は高く出て、長く出回って状態があいまいな本だけを集めれば、がくんと落ちます。

だから正解率を語るときは数字だけでは足りません。何で測ったか、何件測ったかが一緒になければなりません。十件で測った100パーセントより、一万件で測った92パーセントのほうがずっと信頼できます。

それでも正解率から見る理由

限界がこれほどはっきりしているのに、正解率は今でも一番前に置かれます。計算が単純で、誰に話してもすぐに意味が通じ、二つのモデルをざっくり比べるのに便利だからです。

使い方をまとめるとこうなります。両方の場合が同じくらい多く、間違いの重さも同じくらいなら、正解率だけで十分です。片方がまれだったり片方の間違いのほうがずっと痛かったりするなら、正解率は一行目だけに置き、判断は他の指標に任せます。