大規模言語モデルLarge Language Model
膨大な文章で大きく育てた言語モデル
- 大規模言語モデルはうんと大きくなった言語モデルです。種類が違うのではなく規模が違うだけです。
- することはどこまでも単純です。前の文章を見て次に来る断片を一つ選ぶことだけをひたすら繰り返します。
- 規模は三つが一緒に大きくなります。読んだ文章の量、モデルの中の調節つまみの数、そして学習にかけた計算量です。
- 規模がある一線を越えると、別に教えていない仕事までこなし始めました。翻訳、要約、表の整理といったことです。
- 大きくなった分だけ**費用も応答時間も大きくなります。**だからわざと小さく作ったモデルを使う場面も多いです。
目次
1たとえで理解する
町にバス路線が一本しかなければ行けるのはその道の上の停留所だけです。ところが路線が数十本になって乗り換え駅が細かく張り巡らされると話が変わります。誰も「ここからあそこへの行き方」を教えてくれていないのに、路線図の上で乗り換えるだけで一度も行ったことのない街まで届きます。大規模言語モデルはこのように路線がとても細かくなった路線図です。
路線一本一本は学習した文章から得た言葉と言葉のつながりです。読んだ文章が増えるほど路線が増え、路線が交わる場所も一緒に増えます。ある地点を越えると、学んだことのない目的地まで乗り換えだけで到着するようになります。
路線図が大きくなった代償もあります。路線を敷いて維持するのにかかるお金と時間が規模なりに膨らみます。
2くわしく
路線が増えた分だけ行ける場所が増えます
「大規模」という言葉は三つが一度に大きくなったという意味です。一つ目は読んだ文章の量です。ウェブ文書、書籍、百科事典、公開されたコードまで、人が一生かけても読み終えられない分量をまるごと読み込みます。二つ目はモデルの中にある調節つまみの個数です。このつまみ一つ一つが路線一区間のつながりの強さに当たります。三つ目はそのつまみを合わせるためにかけた計算量です。
この三つのうち一つだけを大きくしても効果はあまり出ません。路線ばかり多くて往来の記録がなければ、どこが乗り換え駅なのかわからないのと同じです。三つを一緒にバランスよく大きくするほど性能が着実によくなるという事実がいくつもの実験で繰り返し確かめられており、今の大きなモデルはその規則に従って作られています。
すること自体は今も単純です
路線図がどれほど大きくなっても地下鉄がすることは一駅ずつ進むことだけです。大規模言語モデルも同じです。今までの文章を全部見て次に来る断片を一つ確率で選び、選んだ断片を後ろにつなげたあと、その状態でまた次の断片を選びます。
答えが長く論理的に見えても、内部で起きていることはこの繰り返しです。画面に文字がさらさらと流れ出るのも、断片が一つずつ作られている最中だからです。あらかじめ答え全体を決めておいてまき散らしているわけではありません。
大きくすると無かった能力が現れました
小さいモデルは文をそれらしくつなげる程度までしかできません。ところが規模がある一線を越えると、作った人も別に教えていない仕事をこなし始めました。例を二、三個見せるだけで規則を察して続けて処理したり、いくつもの段階に分けて考えたり、初めて見る形式の表を整理したりといった具合です。
こうやって規模が大きくなると突然現れる能力を創発と呼びます。路線がもう一本敷かれただけなのに、急に街の反対側までつながるのに似ています。ただしこの能力はオンオフのスイッチのようにきっぱり切り替わるわけではなく、測り方によって違って見えることもあります。
読み終えたあとにもう一度仕上げます
文章ばかり読み込んだ状態のモデルはまだ使いにくいです。質問を投げると答える代わりに似たような質問を作り続けることもあります。路線は全部敷けたのに案内放送がない状態です。
そこでその次に「こう聞かれたらこう答える」という例を人が作って入れ、どちらの答えがより良いか人が選んだ結果でもう一度調整します。私たちが使う対話型サービスはこの仕上げの段階まで終えたモデルです。同じ大きさでも、この過程をどれだけしっかり経たかによって体感の質が大きく分かれます。
大きいほど良いとは限りません
大きいモデルは答え一つを作るのにも高価な計算装置を長く占有します。その分だけ料金は高く、応答も遅くなります。路線網が大きくなるほど維持費が大きくなるのと同じです。
だから実際のサービスは仕事を分担させます。決まった形式に分類したり短く要約したりする場面には小さく作ったモデルを置き、複雑に考える必要がある場面にだけ大きいモデルを呼びます。スマートフォンの中でそのまま動く小さなモデルが増えているのも同じ理由です。
3もう少し正確に
大規模言語モデルはトランスフォーマー構造をうんと大きく積み上げ、膨大な文章で次の断片当てを繰り返して学習させたモデルです。調節つまみに当たるパラメータは数十億から数千億個の規模です。学習は普通二段階に分かれます。大量の文章を読み込む事前学習が先で、その次が指示に従うよう仕上げる段階です。規模と性能の間にかなり滑らかな関係があることも知られていて、データと計算量をどんな比率で増やすか前もって計算してから学習を始めます。
たとえがずれる点も触れておきます。地下鉄の路線図は人が設計して描いた絵なので、どの路線がどこへ行くか目で確かめられます。モデルの中のつながりは学習中に自然と合わさった数値のかたまりなので、特定の能力がどこに入っているのか誰も正確には指し示せません。また路線図は無い駅へ連れて行きませんが、モデルは存在しない目的地をそれらしく作り出すことがあります。
4やってみる
5よくある誤解
大規模言語モデルが答えをどこかから探してくると思われがちですが、実際には保存された文書をあさっているのではなく、学習で合わさったつながりをたどって次の断片を選び続けているだけです。
大きくしさえすれば賢くなり続けると見なされがちですが、実際にはデータの量と質、計算量が一緒に伴わなければならず、仕上げの段階が抜けると大きさなりの働きをしません。
モデルが会話内容を覚えて学んでいくと思われがちですが、実際には一度学習が終わったモデルはそのままです。前の会話がつながって見えるのは、その内容を毎回また入れているからです。
7ひとこと要約
つまり大規模言語モデルは次の断片を一つ選ぶという単純な仕事を、路線図が街を覆うほど大きくなった規模でこなす言語モデルです。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02