F1スコアF1 Score

二つの数字では並べ替えられません

適合率と再現率を並べて見るのが基本ですが、実際に仕事をしていると一つに縮めなければならない場面が来ます。候補モデル十個のうちどれを使うか決めるとき、設定を変えながらどちらが良くなったかを見るときがそうです。

片方が上がり片方が下がった二つの候補は、二つの数字だけでは優劣を付けられません。一つの点数にまとめておけば、その場で並べ替えられます。F1スコアが評価表の一番端の列によく載る理由です。

ただの平均にしてはいけない理由

適合率100パーセント、再現率0パーセントのモデルを思い浮かべてください。確実な一つだけを選び出して、残り全部を見逃したモデルです。まったく役に立たないのに、二つの値を足して二で割ると50点になってしまいます。

F1スコアはこうしたことが起きないようにまとめます。二つの値のうち低いほうが結果をずっと強く引っぱるので、片方が0に近いとまとめた点数も0に近づきます。先ほどのモデルのF1スコアは0です。

このまとめ方を調和平均と呼びます。片方の車輪だけぱんぱんな車には甘い点数を与えず、両方の車輪がそろってぱんぱんなときだけ点数を与える計算です。

二つの値が近いときに最も高くなります

同じ二つの値を足しても、F1スコアの出方は違います。90パーセントと30パーセントのモデルより、60パーセントと60パーセントのモデルのほうが点数は高く出ます。

この性質のおかげで、F1スコアは一方に偏ったモデルを自動でふるい落としてくれます。点数を上げたいなら、得意なほうをさらに押し上げるより、苦手なほうを引き上げるほうがずっと早く効きます。改善の方向を示す羅針盤の役目も果たすわけです。

まとめた点数が隠してしまうもの

便利な分だけ失うものもはっきりしています。F1スコア0.6という値だけを見ても、適合率が低いのか再現率が低いのかはわかりません。直すべき方向は正反対なのに、点数は同じに出てしまいます。

だから実際の評価表には三つの数字をいっしょに書きます。適合率、再現率、そしてF1スコアです。まとめた点数で候補を絞り、残った候補は元の二つの値を並べて選ぶ順序が安全です。

片方に重みをかけることもできます

見逃すことのほうがずっと痛いなら、再現率に重みを多くかけてまとめられます。逆に的外れのほうが痛いなら、適合率のほうに重みをかけます。どちらにも重みをかけずに同じ扱いにしたのがF1スコアです。

名前の後ろに付く数字がその重みを示します。数字が大きくなるほど再現率のほうを重く見て、小さくなるほど適合率のほうを重く見ます。どちらを使うかは、見逃したときと的外れだったときのどちらの損が大きいかで決まります。