人手評価Human Evaluation

何を見るかから決めます

一番よくある失敗は、基準表なしに「良く書けているか見てください」と任せてしまうことです。ある人は文章が滑らかかを見て、ある人は事実が正しいかを見て、ある人は長さを見ます。結果を集めると、違うものを測った数字が入り混じります。

だから項目を分けます。聞かれたことに答えているか、事実が正しいか、読みやすいか、不快な表現がないかを別々に付けます。項目ごとに「この場合は何点」という例を二つ三つ添えておくと、人どうしの目盛りがずっとそろいます。

基準表を作ること自体が評価の半分です。何が良い答えかを文章にできないなら、それはまだ何を作ろうとしているかを決めきれていないという意味でもあります。

点数を付けるか、二つから選ぶか

答え一つに点数を付ける方式は作りやすいですが目盛りが揺れます。同じ答えでもある人は3点、ある人は5点を付けます。直前に見た答えが良かったか悪かったかによっても点数が変わります。

そこで二つの答えを並べてどちらが優れているか選ばせる方式がよく使われます。絶対的な目盛りが要らないので人どうしの差が減り、同じ人が何度やっても結果がそろいます。選んだ結果が積み重なると、勝敗を集めて順位点に変えます。

その代わり、対にして選ぶ方式は手間がかかります。候補が増えると見比べるべき組み合わせが急に増えるからです。だからすべての組み合わせを見るのではなく、必要な組だけを選んで見る方法をいっしょに使います。

人によって分かれるときはどうしますか

二人が同じ答えを見てどれだけ同じ判断を下すかを測っておくとよいです。この値が低ければ、人が間違えたのではなく基準表があいまいだということです。食い違った件を集めて見ると、基準表で直すべき箇所が見えてきます。

一件を複数人が見て多数決を取る方式もよく使われます。人ごとに残っている好みが互いに打ち消し合うので結果が安定します。誰が作った答えかは伏せておき、答えの出る順番も入れ替える必要があります。左側に置かれた答えを良く見てしまう癖のようなものが、思ったより大きく働くからです。

遅くて高くつくことが本当の問題です

人手評価の弱点は正確さではなく速さと費用です。モデルを少し直すたびに人を集めることはできません。だから開発中は自動で測る物差しを使い、大事な節目でだけ人手評価を回すというふうに組み合わせます。

最近は言語モデルに採点させる方法も広く使われています。速くて安いですが人とは違う判断をする癖があるので、その採点が信頼できるかは結局、人手評価の結果とどれだけ重なるかで確かめます。自動採点がどれだけ増えても人手評価がなくならない理由です。だから多くの現場では、開発の初期は自動の物差しだけで様子を見て、公開の直前や大きな変更のあとにだけ人手評価をまとめて回すという段取りを組みます。