プロンプト忠実度Prompt Adherence

よく作れたかと指示どおりかは別の物差し

生成結果を見るとき、人は二つのことを同時に見ています。一つは出来栄えです。線が乱れていないか、色が自然か、変な指のようなおかしな点がないかを見ます。もう一つが忠実度です。書いたことがそこにあるかを見ます。

この二つは別々に動きます。とても立派な風景ができても肝心の頼んだ灯台がないこともあれば、素朴な絵なのに指定した要素が一つも欠けずに入っていることもあります。道具を選ぶときに出来栄えだけを見て選ぶと、使いながらずっと指示を書き直すことになる理由はここにあります。

だから性能を比べる場では、二つの物差しを分けて点数をつけます。一つにまとめた点数だけを見ても、どちらが足りないのかわかりません。

人が数える方法

一番信頼できる方法は、人が直接数えることです。指示を項目に分けるところから始めます。赤い傘、人が三人、雨の夜道のように確認できる断片に分けます。それから結果を見て項目ごとに入っているか印をつけ、当たった項目の割合を点数にします。

二つの結果を並べてどちらがより指示に近いか選ばせる方法もよく使われます。点数をつけるより二つのうち一つを選ぶほうが、人ごとの基準がぶれにくいからです。

問題は遅くて高くつくことです。人ごとに基準も少しずつ違うので、たいてい一つの結果を複数人で見て、意見が分かれた度合いも一緒に記録します。

自動で採点する方法

人の代わりに別のモデルに採点を任せることもできます。よくある方式は、絵を見て文章で説明するモデルに結果を見せたうえで、元の指示とどれだけ重なるかを比べさせることです。絵と文章を同じ物差しで測るモデルに、両者の近さを尋ねる方法もあります。

最近は指示を細かく分けて質問に変えたうえで一つずつ尋ねる方式がよく使われています。傘は赤いですか、人は三人ですかのように、はいいいえで答えられる形にして、正しいと答えた割合を点数にします。人がしていた項目数えをそのまま機械に移したわけです。

自動採点は安く、数千枚でも一日で終わります。代わりに採点するモデルが見えないものは永遠に見えません。つぶれた看板の文字や不自然な影を見過ごすこともあります。そのため自動点数で大まかに絞り込んだうえで、一部だけ人がもう一度見る形で組み合わせて使います。

特によく外れる項目

忠実度が崩れる場所はだいたい決まっています。一つ目は個数です。三つと書くと二つや四つになることがよくあります。二つ目は位置関係です。左、上、後ろのように互いの位置を指定する言葉が守られにくいです。

三つ目は属性が入れ替わることです。赤い帽子と青いかばんと書くと、帽子が青くかばんが赤くなることもあります。四つ目は文字です。看板や標識の文字は、似た形の意味のない模様として出やすいです。五つ目は除いてほしいという言葉です。何かを入れないでと書くと、かえってそれが登場することがあります。

忠実度を上げると失うもの

指示をより強く従わせるつまみがあります。この値を上げると書いた要素はよく入りますが、色が飽和し結果が硬くなります。反対に下げると自然で多様になりますが、指示から少しずつずれていきます。

一枚を完璧に合わせようとつまみを目一杯上げるより、ほどよいところに置いて何枚も出し、その中から指示に近いものを選ぶほうが結果がよいことが多いです。忠実度は一枚の成績ではなく、何枚かの平均で見るべき値だからです。