報酬Reward

説明なしに数字一つだけが返ってきます

強化学習で学ぶ側は場面の中で何かをし、場面は変わった状態と一緒に点数を一つ返してくれます。この点数には、どの行動が良かったか、どこを直すべきかは含まれていません。正解を教える学習では「この写真は傘」という答えが一緒に来ますが、報酬はただ大きさのある数字一つです。

だから学び方が違ってきます。同じ状況で複数の行動を試し、どちらのあとに数字が大きかったかを見比べながら少しずつ傾いていきます。一回の点数は偶然かもしれないので、何千回何万回も繰り返してはじめて信号がつかめます。場面がある状況を見せ、何をするか決め、点数を受け取ってその決定を直す輪が、ずっと回り続けます。

今来る点数とあとから来る点数

ラックに差し込んだ瞬間につくポイントはすぐ来る点数です。一方、自転車が足りない地域まで運んで返したときに加わる分は、次の精算にしか入ってきません。強化学習でも点数は遅れて来ることが多いです。囲碁なら勝敗は最後の一手を打ってから決まり、ゲームならずっと前に拾っておいた鍵のおかげであとで扉が開いたりします。

だから今受け取った点数だけを大きくすることは目標ではありません。この先受け取る点数まで足した総点が基準です。ただ遠い未来の点数は不確かなので、あとになるほど少しずつ値を割り引いて足します。この割り引く比率を大きく取れば遠くまで見る性格になり、小さく取れば目先の点数だけを気にする性格になります。

何に点数をつけるかが目標を決めます

報酬を設計することは規則を決めることではなく、目標を決めることです。ラックへの返却だけに点数をつければ返却の習慣がつき、移動距離に点数をつければ長く乗る習慣がつきます。人が「こうしなさい」と手順を教えなくても、点数がついている方へ行動が自然と曲がっていきます。

点数をごくまれにしか与えないと学ぶのがとても難しくなります。最後までいってやっと一度点数が出る問題なら、最初の何万回かは何の手がかりもなく迷うことになるからです。そこで途中の段階ごとに小さな点数を足して道を作ることもありますが、この小さな点数のつけ方を誤ると、本当の目標の代わりに途中の点数だけを追う癖がついてしまいます。

点数だけを狙う近道

ラックに差し込むだけでポイントをあげるとしましょう。すると、借りたその場ですぐ隣のラックにまた差し込むことを一日中繰り返すのがいちばん得になります。人が望んだのは自転車をうまく使うことでしたが、点数が示したのは差し込む動作の方だったのです。

**強化学習でも同じことが起こります。**点数を上げる近道があれば、目標に関係なくそちらへ流れていきます。掃除ロボットに拾ったごみの個数で点数をあげると、片づけたものをまたばらまいて拾い直すようなことをします。これを防ぐには点数を複数の観点に分けてつけ、望まない行動には罰点も一緒につけ、学習された行動を目で確かめながら点数を直していく必要があります。

罰点も同じ物差しの上にあります

差し引く点数は別扱いの仕掛けではなく、符号だけが違う報酬です。壁にぶつかったら大きく引き、一歩動くたびにごく少しずつ引くようにつけておくと、ぶつからずに早く終える行動が自然と身につきます。時間に対する小さな罰点は、目的地へまっすぐ向かわせるよくある方法です。