適合率と再現率Precision & Recall

下に敷く束が違う

二つの割合の上の数字は同じです。正しく選び出したものの個数です。違うのは下です。

適合率は選び出したもの全部を下に敷きます。だから無駄に選んだものが増えると値が下がります。再現率は実際に本物だったもの全部を下に敷きます。だから見逃したものが増えると値が下がります。

この違いのせいで、片方だけを見るといくらでも騙されます。すべてのかばんでピーッと鳴らせば、一つも見逃さないので再現率は100パーセントです。反対に確実なかばん一つにだけピーッと鳴らせば、適合率は100パーセントです。どちらも何の役にも立たないゲートです。

つまみ一つが両方を一緒に揺らす

AIはたいてい「金属である可能性0.8」のように点数を出し、その点数がある線を超えるとそうだと判定します。この線が感度つまみです。

線を下げるとあいまいなものまで選び出すので見逃しが減り、空振りが増えます。再現率が上がり適合率が下がります。線を上げると確実なものだけを選び出すので空振りが減り、見逃しが増えます。

だから「適合率が何パーセントのモデル」という言い方は半分の情報しか持っていません。どの線で切ったときの話かが一緒にないといけないし、その線を動かしながら二つの値がどう動くかを曲線で描いて初めてモデルの本当の実力が見えます。

どちらが痛いかが基準

二つの値のどちらを高くするかは技術ではなく状況が決めます。

見逃すと大きく危険なことでは再現率を優先します。空振りは人がもう一度確認すれば済みますが、見逃したものは誰も見直さないからです。危険物の検査や設備故障の兆候探しがここに入ります。

反対に選び出したもの一つひとつに人の手が多くかかることでは適合率を優先します。空振りが増えると担当者が疲れて、あとで警告をまるごと無視するようになるからです。迷惑メールのふるい分けや文書の山から必要なものだけを選び出す仕事がそれです。

一つの画面に二つの数字を並べる

だから評価表には二つを並べて書きます。片方だけ書かれた表は、もう片方が崩れているかもしれないという意味に読みます。

二つを一つの数字にまとめて見たいときに使うのがF1スコアです。ただしまとめた瞬間、どちらが低くてその点数になったのかは見えなくなるので、まとめた点数と元の二つの値を一緒に置いておくほうが良いです。

種類が複数あれば種類ごとに測る

分ける種類が三つ以上あるときは、二つの値を種類ごとに別々に計算します。ある種類はよく見つけ、ある種類はほとんど見つけられないことがよくありますが、全体の平均一つだけを見るとその差が埋もれます。

とくに資料に少ししか入っていない種類ほど再現率が低く出やすいです。種類ごとの表を広げて、いちばん低い行から見る習慣が役立ちます。