言語モデルLanguage Model

一つではなく候補全部に点数をつけます

言語モデルが出すのは単語一つではありません。知っているすべての断片について「これが次に来る可能性」を一斉に採点した点数表です。断片の一覧が数万個あれば点数も数万個出ます。

この点数表は全部足すと1になるように整えられています。だから「この候補が40パーセント、あの候補が15パーセント」というふうに読めます。スマホの予測が三つしか見せないのは画面が狭いからにすぎず、内部ではずっと多くの候補に順位がついています。

点数が均等に散らばっていれば、どんな言葉が来ても自然な位置だという意味です。逆に一つの候補に点数が集まっていれば、そこにはその言葉しか来られないという意味です。よく知られたことわざの後半がそういう位置です。

規則を書き込んだ人はいません

文法書を入れてもらったわけではありません。学習方法は驚くほど単純です。文章を持ってきて後半を隠し、モデルに次の言葉を当てさせたあと、実際の正解とどれだけずれていたかを見て内部の数値をほんの少し直します。この過程を数十億回繰り返します。

正解を人が別途つけてやる必要がない点が重要です。文章そのものにすでに正解が入っているからです。おかげでインターネット上の膨大な文章をそのまま教材として使うことができ、これが言語モデルが急に大きくなれた理由です。

こうやって学ぶうちに、文法だけでなくその文章に含まれる事実関係や言い回しまで一緒についてきます。次の言葉をうまく当てるには、世の中についての情報もある程度知っている必要があるからです。

いつも1位を選ぶわけではありません

点数が一番高い候補だけを選び続けるとどうなるでしょうか。文がすぐに硬くなり、同じ表現を繰り返すようになります。そこで実際には点数を確率のように扱い、高い候補が多く選ばれつつ、たまに2位や3位も選ばれるようにします。

このランダムさの強さを調節するつまみが別に用意されています。強く設定すると表現は多彩になる代わりに変な言葉が混ざり、弱く設定すると安定する代わりに単調になります。同じ質問を二回入れたときに答えが違って出るのもこのためです。

どれだけ遠くを見るかが実力を分けます

初期の方式はすぐ前の二、三単語しか見ませんでした。だから「昨日図書館で借りたあの本」のように離れた言葉を受け継げませんでした。文の頭に出てきた主語を文の終わりで忘れてしまうようなものです。

その後、一語ずつ順に受け渡しながら記憶をつなぐ方式が出て、今では前にあるすべての断片を一度に置いて互いの関連度を計算する方式が定着しました。一度に見渡せる範囲が文数行分から本一冊分にまで広がったのが、ここ数年の一番大きな変化です。

翻訳も要約も結局はつなぎ書きです

言語モデルが翻訳機能を別に持っているわけではありません。「次の文を日本語に訳すと」という文章の後に続く言葉を確率で選んでいるうちに訳文ができるのです。要約も、質問に答えることも同じ方式です。

だから前にどんな言葉をどう付け加えるかが結果を大きく変えます。キーボードの予測が前に打った文字によってまったく変わるのと同じ原理です。