次トークン予測Next-Token Prediction

一つを選ぶのではなく可能性を付けます

モデルは次の場所に来る候補を一つだけずばり選び出すわけではありません。断片の一覧にある数万個の候補すべてに「これが来る可能性はこのくらい」と点数を付けます。「今日の天気はとても」の次なら「いいですね」が高く、「晴れです」もかなり高く、「四角いです」はとても低い、といった具合です。

そのあと、この点数を見て一つを選びます。いつも一位ばかり選ぶと答えが硬くなり、同じ言葉ばかり繰り返すようになります。だから普通は点数の高い候補たちの中で少し運を混ぜて選びます。同じ質問に毎回少しずつ違う答えが返ってくる理由がここにあります。

当ててみてすぐ確認します

学習はこの当てっこを途方もなく繰り返す作業です。文をある断片まで見せて次の断片を当てさせたあと、もとの文に書かれている本当の断片と比べます。

外れていたら、その分だけモデルの中の数字をほんの少し手直しします。次回は正解のほうの可能性が少し高く出るようにするためです。一回の修正は目立たないほど小さいものですが、これを数十億回繰り返すと感覚が身についていきます。

注目すべきは、人が介入する場所がないということです。問題も文から出て、正解も同じ文にあります。インターネット上の文章なら何でもそのまま問題集になるわけです。

文一本から問題があふれ出ます

隠す場所を一つずつずらすだけで新しい問題になります。断片が千個ある文章なら、問題もおよそ千個です。文書一本を捨てる部分なく最後まで使い切るのです。

前をどれだけ見せるかも毎回変わります。ある問題は前の三断片だけ見て解かなければならず、ある問題は数百断片を見て解きます。短い文脈と長い文脈を扱う練習が自然に混ざります。

問題の難しさも場所ごとに大きく違います。「ありがと」の次の断片はほぼ決まっているので誰でも当てられますが、物語の結末の最初の断片は前の内容をすべて抱えていなければ、やっと見当がつく程度です。易しい問題と難しい問題が入り混じっているわけで、同じやり方で解き続けるうちに扱える幅が自然に広がります。

当てっこが能力に変わる地点

次の断片を当てることは些細に見えます。ところがうまくやろうとすると、知っておくべきことがどんどん増えていきます。「日本の首都は」の次を当てるには地理を知らなければならず、「三足す四は」の次を当てるには計算をしなければなりません。

長い文章では要求がさらに大きくなります。小説の最後の行の次の断片を当てるには、前で誰が何をしたかを抱えていなければなりません。結局、当てっこをうまくやり続けようとするうちに、知識や推論が自然に付いてきたのです。

答えを作るときも同じことをします。質問を受けると、その後に続く断片を一つ選び、それをつなげた文を読み直してまた一つ選ぶ、という具合です。翻訳も要約も相談も、内側で起きているのはこの一つのことだけです。