ロジットLogits

最後の段階が候補ごとに点数を一つずつ出します

モデルは文を通過させながら値をずっといじり、最後にもう一度計算して数字の並びを一つ作ります。この並びの長さは、モデルが知っている断片の個数と同じです。断片の一覧が数万個なら、点数も数万個出てきます。

各欄は「次にこの断片が来そうな度合い」を表します。値が大きいほどその断片を有力視しているという意味で、小さいかマイナスなら今の場所には似合わないと見ている意味です。

この数字は人が読むために作られた値ではありません。モデルの内部で行われた計算の結果がそのまま出てきたもので、目盛りも基準点も別にありません。

点数そのものはまだ確率ではありません

ロジットは三つの点で確率と違います。全部足しても1にならず、マイナスも出うるうえ、上下の限界もありません。だから点数一つだけを見て「この答えをどれくらい確信しているか」を言うことはできません。

重要なのは候補どうしの間隔です。一位と二位の点数が大きく離れていれば答えがほぼ一つに決まった状態で、ぎっしり近ければどちらが出ても不思議ではない状態です。すべての点数に同じ値を足しても、この間隔はそのままなので、結果も変わりません。

確率に変える計算は別にあります

点数板を確率に変えるには、全体を一度に並べて分ける必要があります。候補一つの点数だけを見ても何パーセントかは決められず、ほかの候補がどんな点数を受け取ったかも一緒に見なければなりません。ほかの候補の点数が低ければ同じ点数でも高い確率になり、みな似たように高ければ確率は細かく分かれます。

この変換は順位に手を加えません。点数板で一位だった候補は、確率に変えても一位のままです。確率は順位を決めるために作るのではなく、人が読んで見比べられる目盛りに移すために作るものです。無作為に選んで答えに多様性を持たせるためにも、確率の形が必要になります。

つまみの多くはこの点数板を触っています

答えの性格を変える設定は、たいてい点数が確率に変わる前に入り込みます。温度を上げると候補どうしの点差が縮まり、確率に変わったあとに下位の候補も選ばれやすくなります。温度を下げると差が広がり、一位がほぼ確実になります。

特定の単語を出させない機能もここで働きます。その断片の点数をとても低い値に押し下げておくと、確率に変わったあとも事実上ゼロになります。同じ言葉を繰り返させない設定も、すでに出た断片の点数を少しずつ削るやり方です。

だから答えがおかしく出たとき、どこを見るべきかがはっきりします。モデルが計算した点数自体が問題なのか、それともそのあとに付いた調整が問題なのかを切り分けられます。