小規模言語モデルSmall Language Model

小さいとは中に入った値が少ないという意味です

言語モデルの中には学習で決まった数値がびっしり入っています。この数値の個数がモデルの大きさです。大きなモデルはこの数値が数千億個、小さなモデルは数億から数十億個くらいです。

数値が少なければファイルが小さくなり、機器に載せるときに占める場所も減ります。計算しなければならない量も一緒に減るので答えが早く出ます。大きなモデルをそのまま押し縮めるのではなく、最初から小さな枠で学習するか、大きなモデルが出した答えを教材にして小さなモデルを教える方法を使います。

いくつから小さいと呼ぶかは決まっていません。数年前は大きなモデルの部類だった大きさが、今は小さいほうに分類されます。同じ大きさでも学習方法がよくなるにつれて年々もっと上手になっているからです。

軽くて得られるもの

一つ目は速さです。計算量が少ないので最初の文字がずっと早く出て、サーバーまで行き来する必要がないのでその時間も消えます。

二つ目は場所を選ばないという点です。インターネットが切れたところでも、飛行機の中でも、社内の内側のネットワークでも動きます。

三つ目が実は一番大きな理由であることが多いです。入力した内容が機器の外に出ないという点です。医療記録や社内文書のように外に出しにくい資料を扱うとき、小さなモデルが唯一の選択肢になることもあります。

四つ目は費用です。利用者一人あたりにかかる計算が少ないので、同じ機材でずっと多くの要求を受け付けられます。

リュックにない物は取り出せません

小さなモデルは世の中の知識を少ししか入れられません。よく出る常識は詰めておきますが、珍しい事実、狭い分野の専門的な内容、使う人が少ない言語ではすぐに揺らぎます。そして知らないなら知らないと言う代わりに、それらしい文で埋めてしまう癖は小さなモデルでより多く現れます。

いくつもの段階を経なければならない問題も弱いです。条件が三つ四つ重なる計算や、前で決めた規則を後ろでも守らなければならない長い文では途中で迷子になります。会話が長くなるほど前の内容を見失うことも増えます。

知識が足りない問題は資料を一緒に入れてやる方式でかなりの部分を埋められます。必要な文書を探して質問と一緒に渡せば、小さなモデルもその中から答えをうまく見つけます。リュックにない物を道すがらに置いておくようなものです。

道を決めれば小さなリュックで十分です

何でも聞ける窓口として使うと小さなモデルは物足りません。ですが実際のサービスが求める仕事はそれほど幅広くない場合が多いです。問い合わせを種類別に分けること、議事録からやることだけ抜き出すこと、決まった形式に文を書き換えることといった仕事です。

こういう仕事はその用途の例を集めてモデルを少し追加で教えれば精度が大きく上がります。狭い仕事一つでは、ずっと大きなモデルと比べても差がはっきり出ません。大きさを減らした分浮いた費用で何度も検査させることもできます。

最近は二つを混ぜて使うこともあります。簡単な要求は機器の中の小さなモデルがすぐに処理し、手に負えない要求だけ大きなモデルに回す形です。