フューショット学習Few-Shot Learning

言葉より例のほうが速く通じます

「自然な感じに整えて」というお願いには基準がありません。自然さの程度は人によって違うからです。こういうものはいくら説明を長く付けても、なかなかうまく伝わりません。

代わりに整える前と後を二組だけ見せると話が変わります。文をどれくらい削ったか、難しい言葉をどこまで言い換えたか、語尾をどう揃えたかがその二組にすべて入っています。モデルはその規則を見当をつけて新しい文に当てはめます。

特に結果をプログラムが受け取って使うときに効果が大きいです。項目の順序、区切り記号、空欄の表し方といった細かい調整は、例一つ二つで押さえるほうが説明よりずっと正確です。

例は正解ではなく型を教えます

例を付けたからといって、モデルがその答えを覚え込むわけではありません。例どうしの共通点を探して新しい入力に当てはめるのです。レビュー二つにそれぞれ称賛と不満のラベルを付けておくと、三つ目のレビューにはその二つのラベルのどちらかが選ばれます。

だから例をどう組むかが大事です。称賛の例ばかり三つ入れると、新しい入力も称賛に傾きます。扱うべき種類をまんべんなく入れ、紛らわしい境界線上のものを一つ入れておくと基準がはっきりします。

順序も影響します。最後に置かれた例をより強く引きずる傾向があるので、同じ例でも順序を変えると結果が変わることがあります。

手本を見ても体はそのままです

名前に学習が入っていますが、モデルが学ぶわけではありません。手本を二回見たからといって筋肉がつかないのと同じです。例はその場で渡す参考資料にすぎず、会話が終わればなにも残りません。

次に同じ作業を頼むには例をまた付ける必要があります。よく使う作業ならシステムプロンプトや決まった書式に例を入れておく方法を使います。モデル自体を変えてしまいたいなら話は別で、例をたくさん集めて改めて学習させるほうへ進む必要があります。

いくつが適当か

たいてい二個から五個の間で最も大きく良くなります。一個だけでも形は整いますが基準が揺れ、五個を超えると良くなる幅が目立って減ります。

増やすことには代償もあります。例も場所を取るので入れられる文書が減り、やり取りの量が増えて費用と時間も一緒に上がります。例が長いなら二個に絞る代わりにその二個をよく選ぶほうがよいです。

作業がとても単純だったりモデルがすでに得意な作業だったりすれば、例がなくてもかまいません。例は形式が細かかったり基準があいまいだったりするときに値打ちが大きくなります。

同じ作業を一日に何千回もこなす必要があるなら計算が変わります。例を毎回一緒に送る費用が積み重なるからです。そういうときは集めた例でモデルを別に調整しておき、実際の依頼には例を外すほうがかえって安く済みます。