RAGRetrieval-Augmented Generation

質問と答えの間に一段階入ります

ふだんAIは質問を受けると学習で身についた内容だけで答えを書きます。RAGを付けるとその間に照会の段階が入ります。質問が来ると、まず資料の山を探って関係がありそうな箇所をいくつか取り出し、その箇所を質問と一緒にモデルに渡します。

モデルからすると質問が少し長くなっただけです。「この通帳を解約すると利息は」の前に「次の資料を参考にして答えてください」と約款の数段落が付いた形です。だからモデルを新しく学習させる必要がありません。

答えを作るときにどの箇所を見たかが分かっているので、答えの最後に出典を一緒に付けることもできます。人が原文を開いて確かめられる点が業務では特に大事です。

資料を細かく分けておいて探します

文書一編をまるごと付けると、窓口の前に書類の束を積み上げるようなものです。だから資料をあらかじめ段落くらいの大きさの断片に分けておきます。質問が来たらそのうちのいくつかだけを選んで付けます。

選ぶ方法は二とおりを組み合わせて使います。一つは言葉がそのまま重なる断片を探す方法で、もう一つは意味の近い断片を探す方法です。意味で探すと、「解約」と聞いたときに「中途償還」と書かれた箇所も引っかかってきます。二つの方法を一緒に使うと見落とす箇所が減ります。

断片をどこで切るかも答えの質を大きく左右します。表の真ん中を切ってしまうと数字だけ残った断片になり、大きく切りすぎると関係のない文がたくさん付いてきます。

モデルを変えなくてもよいです

同じ内容をモデルに入れる別の方法として追加学習があります。窓口の担当者を新しく教育するようなものです。時間と費用がかかり、規定が変わるたびにまたやり直す必要があります。

RAGは教育の代わりに画面を差し替えるほうです。今日上げたお知らせがそのまま答えに反映され、間違った文書は消せばそれで済みます。どの文書を誰が見られるかも資料側で管理できるので、部署ごとに見える範囲を変えることもあります。

だから知識が頻繁に変わる仕事にはRAGが、口調や出力形式のように体に染みつかせる必要のある仕事には追加学習が合っています。両方を一緒に使う現場も多いです。

よくずれるところ

いちばん多い問題は見当違いの断片を持ってくることです。画面に別の客の約款が出ていれば、行員がどれほど真面目でも案内は間違います。資料が整理されていなかったり似た文書が何版も混ざっていたりするとこうしたことが起きます。

持ってきすぎるのも問題です。一度に見られる量には上限があり、関係ない箇所が混ざると大事な文が埋もれます。おおむね、よく選んだ三、四断片のほうが雑に選んだ二十断片より優れています。

探してきた資料に答えがまったく無いこともあります。このとき「資料にありません」と言わせるようにしておかないと、モデルは知っている内容で空欄を埋めます。見た目には資料を見て書いた答えのようでも、実際にはそうではありません。

グラウンディングと組みになります

RAGは資料を探してくる方法で、グラウンディングは答えの文の一つひとつをその資料につなぎ留める作業です。窓口で言えば、画面に約款を表示するのがRAG、案内の言葉が画面の中の文から外れないようにするのがグラウンディングです。

資料をそばに置いても自分の見当で一文を付け足せば、グラウンディングは外れたことになります。だから資料をうまく探してくることと、探してきた範囲の中だけで話させることは別に手当てする必要があります。