サンプリングSampling

箱は断片ごとに作り直されます

文章一本は断片を一つずつつなげて作られます。断片を一つ足すたびに、モデルはこれまでの文全体を読み直し、次に来そうな言葉ごとに可能性を新しく割り当てます。箱にどのくじが何枚入るかは、そのたびに変わります。

「今日のお昼は」まで来たときと「日本の首都は」まで来たときでは、箱の中身がまったく違います。前者の箱にはもっともらしいくじが何十種類も入っていて、後者の箱は一種類がほぼ箱を占めます。

だからくじ引きが無作為でも、文章がとんちんかんにはなりません。箱を用意するのはモデルが文脈を見てすることだからです。無作為なのは箱から引く手であって、箱の中身ではありません。

いつも一位だけ選ぶとどうなるか

一番枚数の多いくじを毎回そのまま取る方法もあります。くじ引きというより数えて選ぶほうに近いものです。答えが決まっている質問にはよく合います。

問題は長い文章です。毎回いちばん無難な言葉ばかりつなげると、文が硬くなり同じ表現が何度も戻ってきます。ひどいと同じ文を何度も繰り返してぐるぐる回ることもあります。無難な言葉のあとには、また無難な言葉がいちばんもっともらしく見えてしまい、抜け出せなくなるのです。

可能性どおりに引くとこの堂々巡りから抜け出せます。たまに二位や三位のくじが出ることで、文章が別の道へ折れていくからです。人が書いた文章のように読める背景には、この揺らぎがかなり大きく効いています。

引く前に箱の中身を整える設定

くじ引きそのものは単純です。代わりに、引く直前の箱の中身を整える設定が二つあります。

温度はくじの枚数の差を広げたり狭めたりします。下げると一位の絵柄がほぼ箱を占め、上げると下位の絵柄も相当な枚数入るようになります。順位はそのままに、間隔だけを変えます。

Top-pサンプリングは下のほうのくじを箱からそもそも抜きます。可能性の高い順に詰めていき、決めておいた取り分を満たしたら残りは箱に入れません。箱にないくじは、いくら引いても出てきません。

二つの設定が箱を整え、サンプリングがその箱から一枚を引きます。三つを混同しないためには、この順番を覚えておけばよいでしょう。

同じ質問に答えが毎回違う理由

AIに同じ質問を二度すると、答えが少しずつ違います。故障ではなくくじ引きのせいです。最初の断片で違うくじが引かれれば、その次の箱も変わり、いくつか断片が進むと答え全体が別の道に進みます。

一断片の違いが雪だるま式に大きくなるわけで、前のほうがほんの少し分かれただけでも結論まで変わることが起きます。答えを何度も受け取ってみると、モデルがどこで揺れているか感覚がつかめます。毎回同じ答えが出るところはモデルが確信している場所で、毎回違う答えが出るところは根拠が薄い場所です。

同じ結果をもう一度得たいときは、くじ引きに使う開始値を固定する方法を使うこともあります。箱を揺らす手の癖を毎回同じに合わせておくようなものです。

どこに向くか、どこに向かないか

物語、宣伝文句、名前候補のように複数の案を見たい仕事には、くじ引きがよく合います。同じ依頼を何度か回すと、違う案が積み上がっていきます。

数値を整理したり、形式が決まった書類を埋めたりする仕事には、揺らぎが邪魔になります。こういうときは箱がほぼ一つの絵柄で埋まるよう設定を絞るか、いっそ一位だけを選ばせておくほうが確認しやすくなります。

どちらにしても、くじ引きが答えの事実かどうかを決めるわけではありません。箱に間違ったくじが何枚も入っていれば、どんな引き方をしても間違った言葉が出てきます。引き方が決めるのは文章の色合いだけです。