LLM審査LLM-as-a-Judge

どうやって採点させるか

いちばん単純な方法は、答えを一つ見せて点数を付けさせることです。何を見るかを書いた基準表を一緒に渡し、項目ごとに何点かを答えさせます。作るのは簡単ですが目盛りが揺れます。同じ答えをもう一度入れても点数が少しずつ変わり、たいてい甘めに寄ります。

もっと安定した方法は、二つの答えを並べて見せてどちらが良いかを選ばせることです。絶対的な目盛りが要らないので、結果がずっと揃います。ここで先に理由を書かせてから判定を出させると、精度が目に見えて上がります。先に答えを出してから理由を付けさせると、理由が言い訳になってしまうからです。

正解のある問題なら、正解を一緒に渡す方法も良いです。審査するモデルが自分の知識に頼らず照合するだけになるので、詳しくない分野でも判定がずっと安定します。

伸びた目盛り、四つの癖

一つ目は長さです。長く書いた答えを高く評価する傾向がはっきりあります。内容が同じでも段落を伸ばすと点数が上がります。

二つ目は順序です。二つの答えのうち先に見せたほうを高く評価することがよくあります。そのため順序を入れ替えて二回尋ね、二回とも同じほうを選んだときだけ勝敗を認める方法が使われます。

三つ目は似た文体です。自分が書いたものと似た文体の答えを高く評価します。採点するモデルと採点されるモデルが同じ系統だと、この問題が大きくなります。

四つ目は口調です。自信に満ちた文には甘い点数が付きます。正確だが慎重に書いた答えが、間違っているが断定的な答えに負けることが起こります。

ずれの大きさを測っておく

この癖をなくすことはできません。ですが、どれくらいずれているかは知っておけます。方法は簡単です。同じ案件を数百件、人にあらかじめ採点してもらい、同じ案件をモデルに採点させて、二つの結果がどれだけ重なるかを数えます。

重なる割合が高ければ、その先は安心して自動で回せます。低ければモデルのせいだけにせず、まず基準表を疑います。人どうしでも判断が分かれる項目なら、モデルでも分かれて当然だからです。

一度合わせて終わりでもありません。採点するモデルが変わったり扱う話題が変わったりすると、ずれの大きさがまるごと変わります。布の巻き尺を新しく買ったら、また当て直す必要があるのと同じです。

どこで使い、どこで使わないか

向いている場面は開発中の繰り返し確認です。プロンプトを少し直すたびに数千件を採点し直し、どちらが良くなったか見る必要がありますが、こうした作業に人を呼ぶわけにはいきません。目立つ失敗をふるい落とす網としても向いています。

反対に注意すべき場面は外に出す成績です。審査するモデルと採点されるモデルが同じ系統のとき、そしてその点数が宣伝に使われるときは、判定を人に任せるのが正しいです。安全性や事実確認のように、間違えたときの損害が大きい判定も同じです。