評価指標Evaluation Metric
何をもって良しとするか決めておく物差し
- 評価指標は何を測って良しとするかをあらかじめ決めておく物差しです。物差しを選ぶことが測ることより先に来ます。
- 同じ対象でもどの指標で見るかによって順位が入れ替わります。 良いという言葉には常にかっこ書きが付いています。
- 指標を一つだけ見るとその一つだけが得意になるように仕向けられます。 項目を複数並べて見る理由です。
- どの指標を選ぶかが何を直すかまで決めます。 測らないものは直りません。
- 数字で捉えやすいものと本当に望むものは違うことが多く、その隔たりを知ったうえで数字を読む必要があります。
目次
1たとえで理解する
車検場に車を持ち込んでも、検査員がこの車が良い車かどうかを答えてくれるわけではありません。代わりに項目の並んだ用紙を取り出します。制動力がどれだけ出るか、排気ガスの数値が基準内に収まるか、前照灯が規定の明るさを超えるか、下回りに腐食がないかを項目ごとに別々に測ります。
だから検査用紙を受け取ると、良いという言葉の代わりに項目ごとの数字が手元に残ります。ブレーキがよく効く車と排気ガスの少ない車は別の車かもしれません。どの欄を先に見るかによって、同じ車が良くできた車になったり手を入れるべき車になったりします。
評価指標はこの検査用紙の一つの欄です。AIが良いという言葉もそれ自体では意味がなく、どの欄を測ることにしたかをいっしょに言って初めて意味が生まれます。
2くわしく
物差しを選ぶことが先です
検査場は車を台に載せる前に、今日何を測るかから決めます。測る項目が決まって初めて機材を掛け、基準線を引けるからです。AIを作るときも順序は同じです。学習を始める前に、何を測って良しとするかを先に決めておく必要があります。
この順序を飛ばすと厄介なことになります。作り終えてから指標を選ぶと、成績の良く出る指標を選びたくなります。同じ結果を前にして指標だけを変えながら見栄えの良い数字を探すのは、測ることではなく選ぶことです。
決めておいた指標は作っている間ずっと方向を示してくれます。どちらへ直せば良くなるかが指標に書き込まれているので、指標がそのまま目標になります。
項目ごとに良いという言葉の意味が変わります
二台の車を比べてみます。一台は制動力に優れているけれど排気ガスが多く、もう一台は排気ガスが少ないけれど制動力が心もとないとします。どちらが良い車かに答えはありません。夜道を多く走るなら前照灯の項目が、通学路をよく通るなら制動力の項目が優先されます。
AIも同じです。見逃すと大変なことを見つけ出す仕事と、誤って判定して無駄足を踏まないようにする仕事は別の項目で、片方を上げるともう片方が下がることもあります。よく使われる正解率、適合率と再現率がそれぞれ別々に扱われるのも、違うものを測る物差しだからです。
だから順位表を見るときは、どの指標で並べたかを先に見る必要があります。指標を変えると一位と三位が入れ替わることは珍しくありません。
項目一つだけでは仕向けられます
検査場が排気ガスだけを見るなら、車を作る側はその検査の場面でだけ排気ガスが少なくなるよう合わせられます。検査は通っても実際の道路では違ってきます。物差しを一つだけ置くと、その物差しに合わせることが目的の代わりになってしまいます。
AIを作るときも同じことが起きます。一つの数字だけ上げろと言われると、その数字だけが上がる方向に学習が流れます。答えを短くすると点数が上がる指標なら答えはどんどん短くなり、よく出るほうを選ぶだけでも点数が上がる指標なら常にそちらばかり選ぶようになります。
だから実際には項目を複数並べて見ます。主な指標を一つ決めて方向を定めつつ、その指標が壊しかねないものを守る項目を横に並べておく方法です。
測らないものは直りません
検査用紙にない項目は誰も手を入れません。座席が緩んでいても項目になければ検査場では何も起きません。指標も同じです。測る項目だけが良くなり、測らないものは静かに悪くなっても表に出ません。
だから指標を選ぶときは、測りやすいものではなく本当に望むものから出発する必要があります。答えが役に立ったか、使う人がまた戻ってきたかといったことは数字にしにくいですが、本当の目的に近いものです。捉えやすい数字で代えるときは、その数字が目的の代役でしかないことを忘れてはいけません。
指標は一度決めたら終わりでもありません。使う人や状況が変わったら検査項目も見直す必要があります。
3もう少し正確に
評価指標はモデルの出力と正解を突き合わせて一つの数字にまとめる規則です。行う作業によって使う指標が変わります。分類の仕事には正解率系の指標を、数値を当てる仕事には外れ幅を測る指標を、文章を作り出す仕事には人が付けた点数や別のモデルが付けた点数を使うこともあります。指標を測るデータが学習に使ったデータと混じっていると数字がふくらむので、手を加えていないデータだけで測るのが原則です。
たとえがずれる点もあります。車検には国が定めた合格ラインがありますが、AIの指標にはそうした絶対基準がありません。同じ指標で測った数字でも、どのデータで測ったかによって大きく変わるので、違うデータから出た数字どうしをそのまま比べることはできません。数字一つではなく、どのデータでどんな条件で測ったかまでいっしょに書き残して、初めて比べられる数字になります。
指標と損失関数も区別しておくとよいです。学習を導く罰点と、作り終えたあとに人が読む成績表は別の数字です。両者が同じ方向を指さないこともあり、罰点は減ったのに成績表はそのままということが起こります。
4やってみる
5よくある誤解
指標の点数が高ければ良いモデルだと思われがちですが、実際にはどの項目をどのデータで測ったかによって同じモデルの点数が大きく変わります。
指標は結果を測るだけだと見なされがちですが、実際には何を測ることにしたかが学習の方向と直す場所まで決めます。
良い指標を一つ選べばそれで済むと思われがちですが、実際には一つだけ見るとその一つに合わせられてしまうので、見守る項目を横に並べておきます。
7ひとこと要約
つまり評価指標は良いという言葉に付くかっこ書きで、どの欄を測ることにしたかがそのモデルが何を得意にするかまで決めます。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02