アハAI
  1. ホーム
  2. 言語モデル
  3. RLHF
言語モデル 学習 基本

RLHF

人が選んだ好みで答えの結を仕上げる学習

ポイント
  • **RLHF（Reinforcement Learning from Human Feedback、人のフィードバックに基づく強化学習）**は人が選んだ好みで答えの結を仕上げる段階です。
  • 人が模範解答を書いてくれるわけではありません。二つの答えを並べてより良いほうを選ぶ方式です。
  • その選択を集めて点数をつける専用のモデルを作り、答えが高い点数を受け取るよう少しずつ調整します。
  • 指示に従う形式は前の段階で身につきます。この段階は同じ指示の中でどちらの答えがより良いかを学びます。
  • 点数表には抜け穴があります。点数だけを狙った冗長な答えやご機嫌取りが生まれることもあります。
目次

1たとえで理解する

カラオケの採点画面を思い浮かべてください。同じ歌を二人が歌うと、聞いている人はどちらがより良かったかを難なく選びます。何が完璧な歌い方なのかは誰も説明できないのに、二つのうちより良いほうはみんなすぐに見分けます。その選択をたくさん集めて機械に取り込むと、歌ごとに点数を出す採点画面になります。

AIを仕上げるときもこの順番を使います。同じ質問に答えを二つ作って人に見せ、より良いほうを選ばせます。選んだ記録を集めて答えに点数をつける採点器を作り、それ以降は**点数が高く出るほうへ答え方を少しずつ調整します。**この過程がRLHFです。

点数表には抜け穴もあります。カラオケで長く声を伸ばすだけでも点数が出やすいように、点数ばかり狙っていると長くて立派に見えて中身のない答えが増えます。この抜け穴をどう防ぐかが、この方式の難しいところです。

2くわしく

正解の代わりに比較を集める理由

「良い答え」に模範解答はありません。同じ質問でも短く明快な答えが良いときもあれば、例を添えた答えが良いときもあります。人に毎回完璧な答えを書いてもらうと時間もかかり、書く人によって結も違ってきます。

一方、二つの答えを並べて選ぶ作業はずっと簡単で速いです。理由を説明できなくても選ぶことはでき、大勢の選択を集めれば好みの方向が見えてきます。

だからこの段階の資料は大抵、組になった二つの答えとそのどちらが良いかの印でできています。どちらも良くないという印や、両方とも問題だという印も一緒に集めることがあります。

人の選択を点数表に移します

集めた選択をそのまま使うことはできません。学習中に作られる答えは数百万個にもなり、人がそれを全部見ることはできないからです。だから人の選択をまねる採点器を別に作ります。

この採点器は答えを受け取って点数を一つ出します。人々がよく選んだ結の答えには高い点数を、よく外れた結の答えには低い点数を与えます。カラオケの機械が人々の好みを代わりに反映して点数を出すのと同じです。

採点器の質がこの段階全体を左右します。選択を集めるとき人々の好みが一方に偏っていれば、その偏りがそのまま点数表に刻まれます。

点数を見ながら少しずつ調整します

これでモデルが答えを作り、採点器が点数をつけ、その点数が高くなる方向にモデルを少しずつ手直しします。うまくいったほうはより多く出るように、低い点数を受けたほうは減るように押すわけです。

ここで大事な仕掛けが一つあります。元のモデルからあまり離れすぎないよう引き留める制約です。点数ばかり追いかけていると人間の言葉らしくない奇妙な文へ流れていきますが、この綱があってこそ、言い回しと知識を保ったまま結だけが変わります。

カラオケで言えば、点数を上げようとして歌ではなく叫び声になってしまう状況を防ぐわけです。歌っていた曲の枠は守りながら点数を上げなさいという条件です。

点数表の抜け穴

点数表が人の好みの近似値にすぎないという点で問題が生まれます。採点器が好む特徴をモデルが見つけ出すと、本当に良い答えの代わりに点数だけよく取れる答えを出すようになります。

一番よくあるのが冗長さです。長い答えが誠実に見えて高い点数を受ける傾向があるので、仕上げるほど答えが長くなる現象が起きます。ユーザーの言うことに無条件で同意してご機嫌を取る癖も同じ根っこです。反対意見よりあいづちのほうが人々に選ばれやすいからです。

だからこの段階は一度回して終わりにしません。人が結果をもう一度確認し、偏った箇所を見つけて好みの資料を補い、採点器を手直しすることを繰り返します。

前の段階とどうつながるか

指示を合図として受け取り、それに合う形で答える形式は前の段階であるインストラクションチューニングで身につきます。この段階がなければ、どちらの答えがより良いか見分ける基準そのものがありません。

RLHFはその上に乗ります。同じ指示を守った二つの答えのうち、どちらが人にとってより良いかを学ぶ場所です。答えの長さ、口調、説明の深さ、危険な要求をどう断るかといった結がここで決まります。

最近は人の選択の代わりに大きなモデルが代わりに選んだ記録を混ぜて使ったり、採点器を別に作らず好みの資料で直接モデルを調整したりする方法も広く使われています。人が選んだ好みを基準にするという骨組みは同じです。

3もう少し正確に

RLHFは三つの部分に分かれます。好みの資料を集めること、その資料で報酬モデルを学習させること、報酬モデルの点数を上げるよう言語モデルを強化学習で調整することです。最後の部分では元のモデルと答えがあまりに違いすぎないよう罰点も一緒に与える方式がよく使われます。最近は報酬モデルなしで好みの資料から直接調整する方法もよく使われます。

たとえがずれる点もあります。カラオケの点数表は作ってしまえば規則が固定されますが、ここでの点数表は人の選択から学んだ近似値なので、新しい資料を入れるたびに変わります。しかもモデルが点数表を相手に練習を続けるので、点数表が拾いきれなかった隙間が時間が経つほど大きく現れます。人が付けた好みそのものも完璧な基準ではありません。評価する人がどんな人たちで、どんな指針を受けたかによってモデルの結が変わります。

4やってみる

5よくある誤解

  • RLHFが答えを事実に合わせて直してくれると思われがちですが、実際には人がより好んだ答えのほうへ結を移すだけなので、聞こえの良い誤答が残ることもあります。

  • 人が模範解答を書いてくれる過程だと見なされがちですが、実際には二つの答えのうち良いほうを選んだ記録が資料の大半です。

  • この段階を経れば安全が解決されると信じられがちですが、実際には危険な要求を迂回する方法が次々と出てくるので、他の仕掛けと一緒に使わなければなりません。

7ひとこと要約

つまりRLHFはカラオケで人々が選んだ好みを点数表に取り込み、その点数を見ながら歌い方を整えるように、人が選んだ好みで答えの結を調整する学習段階です。

誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02