推論モデルReasoning Model

答えを書く前に自分でもう一度回してみます

ふつうの言語モデルは質問を受けるとすぐに答えの最初の断片から作り始めます。前に書いた言葉が気に入らなくても戻せないので、最初の一文を間違って開くとその方向へ最後まで引きずられます。難しい問題であっけなく間違う答えが出るのはこのためです。

推論モデルは答えを始める前に、自分自身に向けてまず長く書いてみます。問題を断片に分け、条件を一つずつ確かめ、途中で出た値をもう一度当てはめてみて、ずれれば前に戻って別の道を選びます。この過程がすべて終わってから、ユーザーに見せる答えを整理して書きます。

特別な装置が体の中に別に付いているわけではありません。相変わらず次の断片を一つずつ選ぶ作業をしているだけですが、その断片を答えではなく自分の検算に先に使うのです。

長く抱えているほど答えがよくなります

推論モデルの性格は訓練方法から来ています。人が正解の解き方を一つずつ書いてあげる代わりに、モデルが自分で作ったいくつもの解き方のうち最終的な答えが合ったほうに報酬を与えるやり方で教えます。すると、モデルは合う確率を上げる習慣を自分で身につけていきます。もう一度確かめる、疑わしければ戻る、別の方法で検算する習慣です。

だから推論モデルには他のモデルにはないつまみが一つ増えます。答えを作る前にどれくらい長く回すかを決めるつまみです。この値を大きくすると途中の過程が長くなり、難しい問題ほど正解率が上がります。訓練をやり直さなくても答えの質を買えるわけです。

もちろん際限なく上がるわけではありません。ある地点を超えると時間だけが延びて答えは変わらなくなります。知らない事実を長く考えたからといって分かるようになるわけではないからです。

舞台裏は要約だけを見せます

多くのサービスは途中の過程をそのまま見せません。代わりに「確認中」「別の方法で計算中」といった短い要約だけを流します。実際にやり取りされた内容はそれよりずっと長く、文が途切れたり同じところを巡ったりし、最終的な答えとずれる箇所も混ざっています。

この過程も費用がかかる分量です。画面に二行の答えしか出ていなくても、裏では何十倍も長い文章が作られていることがあります。答えの長さに比べて料金がやけに高く出る場合はここから生まれます。

すべての質問にリハーサルが要るわけではありません

いくつもの条件を同時に満たさなければならない問題、段階ごとに計算がつながる問題、条件を一つ落とすと答えがまるごと狂う問題では、推論モデルが確かに有利です。予定を組む、規則の複雑な計算、コードの原因を探すといった作業がここに入ります。

反対に、翻訳、文章を整える、資料の要約、短い事実確認のように一度で答えが出る作業では利益がほとんどありません。答えを待つ時間だけが何倍にも延び、費用も一緒に増えます。最近のサービスが質問の難しさを見て考える長さを自動で調整しようとするのもこのためです。