モデルサイズModel Size
モデルが持っている数字の個数
- モデル名の後ろに付く**「7B」はパラメータが70億個**という意味です。ファイル容量ではありません。
- パラメータは学習の中で決まった数字です。個数が多いほど、覚えたことも、詰め込む場所も多くなります。
- 答えを作るにはこの数字をすべてメモリに載せておく必要があります。だから大きさがそのまま必要なメモリになります。
- 自分のパソコンで動くかどうかは、たいていグラフィックメモリの容量が分かれ目です。
- 数字を粗く丸めて詰めると、大きさが半分、さらにその半分まで減ります。代わりに正確さを少し差し出します。
目次
1たとえで理解する
自習室で試験勉強をしているとき、参考書を机の上に全部広げないと問題が解けないとしましょう。薄い本なら机の片隅に余裕を持って置けますが、分厚い全集だと机の上に全部載りません。本の良し悪し以前に、置く場所がなければ開くことすらできません。
モデルの大きさもこの話です。モデルは学習で決めた数字をものすごい量だけ抱えていて、答えを作るたびにその数字を一通り確認します。だから計算する装置が使う机の上に、数字をまるごと載せておかなければなりません。
机が狭ければ方法は二つです。もっと薄い本を選ぶか、字を小さくした縮刷版を使うかです。
2くわしく
「B」は個数を数える単位です
モデル名の横に付く7B、13B、70Bのような表記は、パラメータの個数を略して書いたものです。Bは十億を表す英単語の頭文字なので、7Bはパラメータ70億個、70Bは700億個を指します。
パラメータはモデルが学習しながら少しずつ直してきた数字です。最初は意味のない値から出発し、数え切れないほどの例を見ながら調整されて今の値になりました。この数字の集まりが、モデルが学んだことのすべてです。
だから大きさは性能そのものではなく、入れ物の大きさに近いものです。詰める場所が広いという意味であって、その場所に良いものが詰まっているかどうかは、学習に使った資料と方法が決めます。
個数がそのまま場所の広さです
数字一つを保存するには場所が必要です。よく使われる方式では、数字一つに二升ほど使います。パラメータが70億個なら、およそ140億升で、ギガバイトに直すと14前後です。
計算しやすい目安があります。「B」の前の数字に2を掛けると必要なギガバイトがおおよそ出ます。 7Bなら14前後、13Bなら26前後、70Bなら140前後です。
ここに余裕分がさらに加わります。会話が長くなるほど、これまでのやり取りを保存しておく一時的な場所が増えていくからです。そのため実際には目安より数ギガバイト多く見込んでおく必要があります。
自分のパソコンで動くか動かないか
家でモデルを動かすとき、真っ先につかえるのがグラフィックボードに付いたメモリです。計算はグラフィックボードが行い、計算するには数字がそのボードのメモリ上に載っていなければなりません。
グラフィックメモリが8ギガバイトのパソコンに14ギガバイトのものを載せようとしても載りません。無理に動かすと、足りない分を通常のメモリや保存装置からその都度取り出すことになり、行き来する時間が計算時間より長くなって、一文字出るのに数秒かかることもあります。
だから同じモデルでも、あるパソコンでは快適に動き、あるパソコンでは事実上使えません。性能が足りないのではなく、机に載らないからです。
縮刷版で減らす
大きさを減らす一般的な方法は、数字を細かく書かないことです。小数点以下を長く書いていたものを粗く丸めて書けば、数字一つが占める場所が半分、さらにその半分まで減ります。
数字一つが使っていた場所を四つ分から一つ分に減らせば、14ギガバイトのものが4前後まで下がります。家にある普通のグラフィックボードにも載る大きさです。答えの質は少し曇りますが、日常的な質問では違いに気づきにくいことが多いです。
ただし減らすことにも限界があります。あまりに粗く丸めると計算が目に見えて揺らぎます。大きなモデルをひどく削るより、最初から小さく作ったモデルを使うほうがよい場合もあります。
大きいほど良いわけではありません
大きなモデルは知っていることが多く、複雑な要望にもよく応えます。代わりに遅く、動かすための装置と電気も多くかかります。
やることが決まっているなら、小さなモデルのほうがかえって良いこともあります。決まった形に整える、短くまとめる、種類を分けるといった仕事は、小さなモデルでも十分こなせて、答えもずっと速く出ます。
大きさを選ぶ基準は一つです。やらせる仕事に必要な分だけ。余った大きさは性能ではなく、待ち時間と費用として返ってきます。
3もう少し正確に
モデルの大きさは通常、学習で決まったパラメータの個数で語られます。実際に占める容量はパラメータの個数に数字一つを収める升の数を掛けた値で、ここに計算の途中の値と会話の記録を保存する場所が加わります。よく使われる方式は数字一つに2バイトを使い、粗く丸める方式は0.5バイトまで下がります。
たとえがずれる点もあります。参考書は必要な頁だけ開けばよいですが、普通のモデルは答えの一かけらを作るたびにパラメータ全部を一通り確認します。必要な部分だけを選んで使う構造もあり、こうしたモデルは全体の大きさは大きくても一度に使う分はずっと小さくなります。だから表記が同じでも実際に必要な装置は違うことがあります。大きさが性能の順位を意味しないことも覚えておく価値があります。よく学習された小さなモデルが、雑に学習された大きなモデルを上回ることは珍しくありません。
4やってみる
5よくある誤解
7BのBがバイトを意味すると読みやすいですが、実際にはパラメータの個数を数える十億の単位です。
ダウンロードしたファイルの容量分だけメモリがあればよいと思われがちですが、実際には会話が長くなるほど増える一時的な場所も余分に必要です。
大きさが大きいほど常に賢いと考えられがちですが、実際には何をどれだけよく学習したかが大きさと同じくらい重要です。
7ひとこと要約
つまりモデルの大きさはパラメータが何個あるかを数えることばで、その個数がそのまま必要なメモリにつながり、自分のパソコンで動かせるかどうかを分けます。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02