パープレキシティPerplexity
次の言葉を何通りで迷っているかを表す値
- パープレキシティは、モデルが次の言葉を選ぶとき何通りのあいだで迷っているかを一つの数字で表した値です。
- 値が2なら毎回二通りほどで、50なら五十通りほどで迷っているという意味です。低いほどよく当てているということです。
- 測り方は単純です。文章を与え、次の言葉をどれだけうまく当てるかを最初から最後まで平均します。
- 断片を区切る基準や評価に使った文章が違うと、値をそのまま比べることはできません。
- 低いからといって良い答えを出すという意味ではありません。事実かどうかや役立つかどうかは測れません。
目次
1たとえで理解する
夕方にリモコンを持つと、頭に浮かぶチャンネルはいくつあるでしょうか。毎日同じチャンネルの同じ番組を見る家なら、番号を一つ押して終わりです。今夜何を見るか決めかねている夜には、五、六局を行ったり来たりしながら画面を確かめ続けます。このとき行き来したチャンネルの数が、その夜の迷いの大きさです。
AIが次の言葉を決めるときも、同じ迷いがあります。「日本の首都は」の次には、チャンネルが事実上一つです。「週末はたいてい」の次には、つけてもよさそうなチャンネルが数十あり、どれも不自然ではありません。この迷いを文章全体にわたって平均し、一つの数字にした値がパープレキシティです。
値が8なら、平均して八つのチャンネルのあいだで行ったり来たりしているという意味です。同じ文章で測った値が低いモデルほど、リモコンを回す回数が少ないのです。
2くわしく
迷いを個数に変えた目盛り
可能性だけを見ても感覚がつかみにくいものです。次の言葉を当てる確率が0.2だと言われるより、五通りのあいだで迷っていると言われるほうがずっとぴんときます。パープレキシティは、この迷いを通り数のように読める数字に変えた目盛りです。
いちばん良い値は1です。次の言葉が常に一つに決まっているという意味だからです。実際の文章でこんなことは起きません。人が書いた文章にも、複数の方向へ続きうる場所が絶えず出てくるからです。
値が大きくなるということは、つけてもよさそうなチャンネルが増えるという意味です。なじみのない分野の文章や、初めて見る形式の文書に出会うと、値がぐっと跳ね上がります。
測り方は当てっこ試験です
モデルに文章一本を与え、前から一断片ずつ読ませます。断片一つを読む直前に「次に何が来そうか」を尋ね、実際に来た断片にモデルがどれだけ大きな可能性を割り当てておいたかを確かめます。
よく当てた場所では驚きが小さく、見当外れの場所では驚きが大きくなります。この驚きを文章全体にわたって平均したあと、通り数のように読めるよう変換したものがパープレキシティです。
人が採点する必要がないことが、この方法の大きな利点です。文章さえあれば自動で計算できるので、学習の途中でもずっと見守ることができます。
比べるには条件をそろえる必要があります
値そのものより注意が要るのが比較です。違う文章で測った値どうしは比べられません。ニュース記事で測った値と昔の小説で測った値では、そもそも難易度が違います。
文章を断片に区切る基準が違うときも、比較がずれます。同じ文でも、断片を細かく切るモデルと大きく切るモデルでは、当てるべき回数そのものが変わるからです。モデルが違えば、この基準もたいてい違います。
だからパープレキシティは、違うモデルどうしの順位を決める用途より、同じモデルが良くなっているかを見守る用途に向いています。学習が進むにつれて値が着実に下がっていれば、うまく学べている合図です。
この目盛りが見ないもの
値が低いということは次の言葉をよく当てるという意味であって、良い答えを出すという意味ではありません。事実が合っているか、質問にきちんと答えているか、読む人の役に立つかは、この数字には表れません。
指示に従う力も同じです。人の求めに合わせて答えるよう調整する過程を経ると、パープレキシティがかえって少し上がることもあります。人が見るとずっと使いやすくなったのに、数字は悪くなるのです。
だから最近はこの値を単独の成績表として使いません。人による評価、課題ごとの正解率、モデルどうしを競わせる比較と一緒に置いて見ます。
どこで役に立つか
いちばんよくある使い道は学習を見守ることです。値が下がったまま止まれば、もう学ぶことがないか、どこかで詰まっているという合図として読みます。値が急に跳ねたら、データに問題が起きていないか確かめます。
特定の分野に合わせてモデルを調整するときにも使います。専門文書で測った値が調整の前後でどれだけ下がったかを見れば、その分野の言い回しに適応したかどうかがつかめます。
文章がモデルにとってどれだけなじみが薄いかを測るのにも使われます。値が特に高く出る文書は、学習のときに見たことのない種類である可能性が高いのです。
3もう少し正確に
パープレキシティは、モデルが評価用の文章に割り当てた確率を断片数で平均したあと、その値を通り数のように読めるよう反転させた値です。すべての断片を完璧に当てれば1になり、何も当てられないほど大きくなります。学習のときに減らそうとする誤差の値と同じ根から出ている数字なので、学習曲線と並んで動きます。
たとえがずれる点もあります。チャンネルの数は整数ですが、パープレキシティは12.4のように小数で出ます。実際に候補を十二個に絞ったという意味でもありません。可能性がどれだけ均等に散らばっているかを通り数に換算した値なので、候補が数万個あっても一つか二つに力が集まっていれば値は小さく出ます。またチャンネルは目に見えますが、この値は評価に使った文章が何かによって一緒に動くので、数字一つだけを取り出しても良し悪しは言えません。評価用の文章が学習に混ざり込んでいた場合も値ががくんと下がります。モデルがよく当てているからではなく、すでに見た文章だからそうなるのですが、数字だけを見ても区別が付きません。値を見るときは、学習資料と評価資料が重なっていないかも一緒に確かめる理由がここにあります。
4やってみる
5よくある誤解
パープレキシティが低ければ良いAIだと思われがちですが、実際には次の言葉をよく当てるという意味にすぎず、答えの事実かどうかや役立つかどうかとは別の話です。
モデルどうしで値をそのまま比べられると見なされがちですが、実際には評価に使った文章と断片を区切る基準がそろっていて、はじめて比較が成り立ちます。
パープレキシティを何かのサービス名だと思われがちですが、実際には言語モデルを測る目盛りの名前です。
7ひとこと要約
つまりパープレキシティは、次の言葉を決めるときリモコンで何個のチャンネルを行き来するかを数字にした目盛りで、低いほど迷いが少ないという意味です。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02