ハルシネーションHallucination

採点表に「事実」の欄がありません

言語モデルは文章を書くとき、どこかを照会しているわけではありません。ここまで出てきた言葉のあとに、どの切れ端が来る確率が高いかを計算して一つ選び、その切れ端をまた前の言葉につないで次の切れ端を選ぶ、という作業をくり返します。「日本の首都は」のあとには「東京」が圧倒的に高く出るので、正しい答えになります。事実を知っているからではなく、その二つの言葉が並んだ文章をとてもたくさん見てきたからです。

困るのは、学んだ文章にその答えがほとんどないときです。似たり寄ったりの候補しか残らないのに、モデルには「ここで止まる」という選択肢が初めから与えられていません。残った候補の中でいちばんもっともらしいものを選び、文を最後まで完成させます。**まちがった文も、正しい文とまったく同じ計算から出てきます。**ですから口ぶりだけを見て二つを分ける方法はありません。

空欄ができる場所は決まっています

三か所で特によく出ます。一つ目はまれな情報です。あまり知られていない人、小さな会社、町のお祭りの日程のように、世の中に数行しか書かれていないものです。二つ目は学習が終わったあとに変わった情報です。モデルの知識はある時点で止まっているのに、モデルは自分の知識が止まっていることを感じ取れません。三つ目が誘導質問です。「その出来事は何年でしたか」のように、存在しない出来事をすでにあったものとして前提に置くと、モデルは前提を疑うより、前提に合う答えを埋めてしまいます。

作り話にも種類があります

いちばん多いのは、事実がずれるものです。年号が一年ずれる、人物が入れ替わるといった形なので、比較的気づきやすいものです。やっかいなのは、出典をまるごと作り出す場合です。ありそうな題名と著者と学術誌の名前まで整った論文が出てくるのに、探してみるとそんな論文はありません。三つ目は、渡した資料からはみ出す場合です。文書を貼り付けて要約させたのに、文書にない一文が要約に混じるのがこれにあたります。前の二つは世の中の事実とずれ、最後の一つは目の前の資料とずれます。

減らす仕組みはすでに何重にもあります

いちばん広く使われているのはRAG（Retrieval-Augmented Generation、検索拡張生成）です。答えを書く前に関連する文書を先に探して質問と一緒に渡すので、記憶ではなく目の前の資料を見て答えることになります。アラインメント訓練は「わかりません」と答えるほうに良い点を付けて、無理に埋める癖を削っていきます。プロンプトで一文ごとに根拠を付けるよう求めれば、根拠のない文が目立って見えます。温度という設定値を下げると確率の高い候補だけを選ぶようになり、飛び出した文が減ります。ただし、どれも次の言葉を確率で選ぶという原理そのものは変えられません。

読む側の習慣が最後の仕組みです

すべての文を疑う必要はありません。まちがうと困るものにだけ力を使えば足ります。名前、数字、日付、引用文、法律の条文、リンクの六つです。答えにこうしたものが入っていたら、その部分だけを元の資料で確かめます。リンクが付いていたら開いて、その一文が本当にそこにあるかを見ます。同じ質問を少し変えてもう一度聞いてみるのも良い方法です。二回の答えで変わる部分が、たいてい作り話の部分です。