温度Temperature
候補どうしの確率差を広げたり狭めたりするつまみ
- 温度は、次に来る言葉の候補たちの可能性の差を広げたり狭めたりするつまみです。
- 下げると、よく出る言葉に力がより集まりきちんとした予測しやすい文章になります。
- 上げると、下位の候補にも機会が回りあまり見ない言葉が混じった散らばりのある文章になります。
- つまみが言葉を選ぶわけではありません。選ぶ作業はサンプリングが行い、温度はその前で中身を整えるだけです。
- **候補どうしの順位は変わりません。**一位が二位に落ちるのではなく、間隔だけが変わります。
目次
1たとえで理解する
どの家にも暖房の調節つまみが一つあります。このつまみはお湯を新しく作りません。すでに巡っているお湯がどこまでどう広がるかだけを決めます。低く設定すると、暖房から近い部屋だけが暖まり、いちばん奥の部屋は涼しいままです。高く上げると、暖かさが奥の部屋まで届いて、どの部屋に入っても暖かくなります。
AIが次の言葉を選ぶときも、つまみ一つがこれと同じ働きをします。モデルは毎回「この言葉が来る可能性」を候補ごとに割り当てておきますが、温度を下げると一位の候補のほうへ暖かさが集まり、残りは事実上冷めます。温度を上げると下位の候補にも暖かさが回り、選ばれる余地が生まれます。こうして可能性どうしの間隔を調節するつまみが温度です。
つまみをどれだけ回しても、暖房がなかった部屋を作り出しはしません。候補一覧そのものはそのままに、暖かさの分布だけを変えます。
2くわしく
つまみは選ぶ作業をしません
文章が一断片ずつ作られる過程は二段階に分かれます。まずモデルが次に来そうな言葉ごとに可能性を割り当てます。そのあと、その可能性に応じて一つを引きます。引く段階がサンプリングです。
温度はこの間に入り込みます。割り当てられた可能性をそのままにせず、間隔を広げるか狭めるかしてから、引く段階に渡します。暖房のつまみが水を作らず流れだけを整えるのと同じです。
だから温度だけを変えても結果は変わりますが、温度がなかった答えをでっち上げるわけではありません。もともとの可能性が0に近かった言葉は、温度をかなり上げてもなかなか出てきません。
下げるときちんと、上げると散らばる
温度を下げると、一位の候補と残りとの間隔が大きく開きます。毎回ほぼ同じ言葉が引かれるので、文章がきちんとして予測しやすくなります。同じ質問を十回してもよく似た答えが返ってきます。その代わり文章が平板になり、表現がよく繰り返されます。
温度を上げると間隔が狭まります。二位、三位の候補もたびたび引かれ、表現が多様になり同じ質問でも毎回違う答えが出ます。宣伝文句をいくつもの方向で出したいときや、物語を作るときに役立ちます。
上げすぎると文章が崩れます。可能性がとても低かった言葉まで引かれ始めると、話題から外れた単語が混じり、数文のうちに前後が合わなくなっていきます。実務で使う範囲が思ったより狭い理由です。
最も低くするとどうなるか
温度を底まで下げると、事実上一位の候補だけが残ります。くじ引きという名前が形だけになるほど、毎回いちばん可能性の高い言葉がそのまま出てきます。同じ質問に同じ答えが出てほしい仕事で、こう使います。
数値を選んで整理する仕事、形式が決まった書類を埋める仕事、前後の照合が必要な仕事がこれに当たります。答えが毎回違うと確認する側が疲れてしまうからです。
ただし、まったく同じ答えが出ると保証するのは難しいものです。計算の順序やサービス側の事情によってわずかな違いが生まれたり、会話の前の内容が少し変わるだけでも答えが分かれたりします。
どこにどれくらい置くか
決まった答えの表はありませんが、傾向はあります。事実を整理したり規則に合わせて書いたりする仕事は低く、表現をいくつもの方向で見たい仕事は中くらい、突飛な組み合わせまで見たい仕事は高くする、という具合です。
始めは既定値のままがよいでしょう。多くのサービスが人にとって読みやすい位置に合わせてあります。結果が単調なら少し上げ、答えが散漫だったり事実が揺らいだりするなら下げながら調整していけばよいのです。
一度に大きく回すより、少しずつ動かしながら同じ質問を何度も試すほうが感覚をつかみやすいものです。つまみ一つを変えたときに答えがどう揺れるかが、その場でわかります。
Top-pは別のつまみです
温度とよく並べて置かれる設定に、Top-pサンプリングがあります。二つはすることが違います。温度は候補どうしの間隔を整え、Top-pは引く候補の範囲を上から切っておきます。
暖かさに例えるなら、温度は家の中の暖かさがどれだけ均等に広がるかを決め、Top-pは閉じておく部屋をあらかじめ決めるほうです。閉じた部屋は、暖かさがいくら巡っても使われません。
二つを一度に大きく動かすと、どちらが結果を揺らしたのかわかりにくくなります。ふつうは一方を既定値に置き、もう一方だけを動かします。
3もう少し正確に
モデルは候補ごとに点数を出し、この点数を確率に変える計算を経ます。温度はこの計算の直前に点数全体を割る値です。1より小さければ点差が広がって確率分布がとがり、1より大きければ差が縮まって平らになります。順位そのものはどんな値でも変わりません。
たとえがずれる点もあります。部屋の温度は一度上げるとゆっくり暖まって保たれますが、このつまみは断片一つを選ぶたびに毎回新しく適用されます。前の文字から暖かさが残って次の文字に引き継がれることはありません。また温度を上げるからといって、より良い表現が生まれるわけではありません。候補一覧はモデルがすでに決めているもので、つまみはそのうち珍しいほうが選ばれる確率だけを大きくします。創造性のつまみというより、ランダム性のつまみに近いものです。値の範囲もサービスによって少しずつ違います。あるところは0から1まで、あるところは2まで許すので、同じ数字を入れても体感が違って出ます。だからほかのサービスで使っていた値をそのまま持ち込むより、その場で何度か試して合わせるほうが安全です。
4やってみる
5よくある誤解
温度を上げるとモデルが創造的になると思われがちですが、実際にはあまり見ない選択が増えるだけで、突飛さと創造性を見分けてくれるわけではありません。
温度を0に置けば常に同じ答えが出ると見なされがちですが、実際には計算の事情や前の会話がわずかに変わるだけで答えが分かれることがあります。
温度がモデルの知っている内容を変えると信じられがちですが、実際には候補とその順位はそのままで、間隔だけが変わります。
7ひとこと要約
つまり温度は暖房のつまみのように、暖かさが一位の候補だけに集まるか奥の候補まで広がるかを決めるつまみで、言葉を選ぶ作業そのものはしません。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02