スケーリング法則Scaling Law
大きさとデータを増やすと性能が上がる規則
- スケーリング法則はモデルの大きさ・学習データ・計算量を増やすと性能がどれだけ上がるかを示す規則です。
- 三つのうち一つだけ増やすとすぐに止まります。一緒に増やしてこそ上がり続けます。
- 上がり方が滑らかなので、小さな実験を何度か行うだけで大きな実験の結果を前もって見積もれます。
- だから限られた予算をどこに使うかを前もって決められます。これがこの法則の本当の使い道です。
- 上がる幅はだんだん小さくなります。二倍にしても二倍良くなるわけではありません。
目次
1たとえで理解する
鉢に植えた植物を早く育てたいからと水ばかりたっぷりやると根が傷みます。鉢だけ大きなものに替えてもそれなりには育たず、日が差さない場所ならどれだけ鉢が大きくても意味がありません。鉢の大きさと水、日の当たる時間がそろってこそ育ちます。
数か月育ててみると、この植物が一か月にどれくらい育つか感覚がつかめます。夏の終わりごろにはどれくらいになるかおおよそ描けて、その絵を見ながら鉢をいつ替えるか、肥料をどれくらい買うか前もって決められます。
スケーリング法則がこの感覚です。モデルの大きさ、学習に入れる文章の量、かける計算時間を一緒に増やすと性能がどれだけ良くなるかが、驚くほど滑らかな曲線として現れます。ただし鉢を二倍に大きくしても背丈が二倍になるわけではありません。増やした分そのまま返ってくるわけではないのです。
2くわしく
三つを一緒に増やさなければなりません
モデルを大きくするというとき、増やせるものは大きく三つです。モデルの中にある値の個数、学習に入れる文章の量、そして学習にかける計算の総量です。
この三つは互いにかみ合っています。大きなモデルに少ない文章しか見せなければ、見たものをまるごと覚えてしまい、初めて見る文に弱くなります。逆に小さなモデルに文章ばかりたっぷり注ぎ込むと、入れる器が足りず、ある地点からよくならなくなります。計算時間が足りないと、両方そろえておいても学習が不十分なまま終わります。
だからどれか一つだけを増やす方式はすぐに壁にぶつかります。しばらくはモデルの大きさを増やすことに重きが置かれましたが、後に同じ計算予算なら、モデルを少し小さめにして文章をずっと多く見せるほうが良いことが確かめられました。
上がり方が滑らかに描かれます
この法則が驚くべき点は、結果がでこぼこしないところにあります。大きさやデータを何倍も増やしながら実験すると、性能を表す値が階段や乱高下ではなく、なだらかな曲線を描いて下がっていきます。何桁にもわたって同じ形が続きます。
曲線が滑らかだということは、つまり予測できるということです。小さな規模で何度か学習させて点を打ってみれば、ずっと大きな規模でどのあたりに落ち着くか線を引いてみられます。
ただし曲線はだんだん寝ていく形です。最初は少し増やしただけでも目に見えてよくなりますが、後になると十倍かけてもわずかしか良くなりません。かけるほど得るものが減っていく区間に入るということです。
だから予算を前もって分けられます
大きなモデルを学習させる作業は、一度始めると後戻りが難しいです。何か月もの間、膨大な計算がかかりますが、全部終わったあとに設定が間違っていたとわかると損害が大きいです。
スケーリング法則はここで地図の役割を果たします。使える計算量が決まっているとき、その予算をモデルの大きさとデータの量にどんな比率で分けるのが一番良いか前もって計算できます。小さな実験を何度か行った結果で大きな実験の結果を見積もり、その見積もりに合わせて設計を確定します。
逆に目標を決めておいて、必要な予算をさかのぼることもあります。これくらいの性能が必要なら、おおよそどれくらいの大きさとデータが要るか計算してみるわけです。規模を大きくする決定が勘ではなく計算に変わったわけです。
法則が教えてくれないこと
この曲線が教えてくれるのは「次の単語をどれだけうまく当てるか」というごく基本的な値です。翻訳が上手かどうか、長い問題を最後まで解けるかどうかのように私たちが実際に気になる能力は、この値とゆるくしかつながっていません。
特定の能力がいつ現れるかも教えてくれません。ある仕事は規模がある一線を越えるまでまったくできなかったのに、突然できるようになるように見えます。曲線自体は滑らかなのに表に出る能力はぽんと飛び出すので、前もって見抜くのは難しいです。
データの質もこの曲線には映りません。同じ量でもよく整理された文章で学べばずっと良い結果が出ます。しかも人が書いた文章の量には限りがあるので、際限なく増やす道もふさがれています。最近の関心が学習を大きくする方向から、答えるときにもっと計算を使う方向へも移ってきた背景です。
3もう少し正確に
スケーリング法則はモデルの大きさ、データの量、計算量と学習誤差の間の関係を示した経験的な規則です。自然の法則のように必ず成り立つと証明されたものではなく、いくつもの実験で繰り返し観察された規則性です。縦軸はたいてい次の単語をどれだけうまく当てるかを測る値で、軸を倍数目盛りに置くと、ほぼ真っすぐな線に見えます。
たとえがずれる点もあります。鉢の植物は育ちきると止まりますが、この曲線には目に見える終わりがありません。代わりにどれだけかけても越えられない底の線があって、曲線はその線にだんだん近づくだけです。また鉢は水をもっとやればその日のうちに表れますが、モデルは学習を最後まで終えて初めて結果がわかります。何より曲線が良くなることと答えが事実に合っていることは別の話です。規模を大きくしても、ない事実を作り出す問題はひとりでには消えません。
4やってみる
5よくある誤解
大きく作りさえすればよくなると思われがちですが、実際にはデータと計算を一緒に増やさないとすぐ足踏み状態になります。
法則だからいつでも成り立つと見なされがちですが、実際にはいくつもの実験で観察された経験則なので、条件が変わればずれます。
曲線を見ればどんな能力がいつ生まれるかわかると思われがちですが、実際には基本的な値の上がり方を見せてくれるだけです。
7ひとこと要約
つまりスケーリング法則は大きさとデータと計算を一緒に増やしたとき性能がどれだけ上がるか前もって描かせてくれる規則です。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02