トークンToken

切り分ける基準は「よく使う言葉」

切り方の規則を人が一つずつ決めたわけではありません。学習に使った膨大な文章からよく並んで現れる文字のまとまりを探し出し、そのまとまりを切れ端の一覧にあらかじめ登録してあります。一覧にある言葉はまるごと一切れになり、一覧にない言葉は、一覧の中のもっと小さな切れ端に分かれます。

切れ端の一覧の大きさは、ふつう数万個ほどです。人が使う言葉はそれよりずっと多様ですから、一覧にない言葉は必ず小さな切れ端へ下りていきます。とても珍しい文字は、一文字が二つ三つの切れ端に割れることもあります。

ですから、ありふれたあいさつは一切れで終わり、新しくできた造語や見慣れない人名は三切れ四切れに増えます。同じ長さの文章でも、どんな言葉を使ったかで切れ端の数が変わるのは、このためです。

切れ端には番号が付いています

切れ端の一覧には、切れ端ごとに番号が振られています。文章が切り分けられると、それぞれの切れ端は自分の番号に置き換わります。モデルが実際に受け取るのは文字ではなく、この番号の列です。

番号は順番を付けるための名札にすぎません。番号が近いからといって、意味が似ているわけではありません。意味は次の段階で、番号を数字のまとまりに変えるときに生まれます。AIが少し誤字のある文章もそれなりに読み取れるのは、文字の形ではなく、切れ端どうしの関係を扱っているからです。

答えを書くときも一切れずつ

AIが答えを出す流れも同じです。ここまでたまった切れ端を見て次に来る一切れを選び、それをつないでからまた次の一切れを選ぶ、という作業をくり返します。画面に文字が流れるように出てくるのは、切れ端が一つずつ作られている最中だからです。

一文字ずつ打っているように見えても、実際の単位は切れ端です。ですから二文字、三文字がまとめて飛び出すこともあります。答えが長くなるほど待ち時間も延び、答えの長さ制限も、文字数ではなく切れ端の数でかかっています。

日本語は切れ端を多く使います

英語は、単語一つがだいたい一切れ前後です。日本語は事情が違います。文字の種類がずっと多いうえ、助詞や送りがなが次々に付いて形が変わるので、一覧にまるごと入りきらない言葉が細かく割れます。

そのため、意味が同じ文章でも日本語のほうが1.5倍から2倍ほど切れ端を使います。一度に入れられる文章の量はその分だけ減り、答えを待つ時間と費用は、その分だけ増えます。

切れ端の数が上限と料金を決めます

AIが一度に見られる切れ端の数には上限があります。会話が長くなって上限を超えると、前のほうの切れ端が押し出されます。しばらく話し込むと、AIが最初の約束を忘れたようにふるまうことがありますが、お皿から押し出された切れ端は、もう見えていないからです。

プログラムからAIを呼び出すときに払う料金も、文字数ではなくやり取りした切れ端の数で決まります。質問の前に付ける長い例文や、まるごと貼り付けた文書が、そのまま費用になるのはこのためです。送った切れ端と返ってきた切れ端を別々に数えるところが多く、答えを長くもらうほど請求も一緒に増えます。