ハイパーパラメータHyperparameter

スタートボタンを押す前に決めること

一番大事なダイヤルは一歩の大きさです。間違えた分だけ値を直すとき、どれだけ大きく動かすかを決める値で、大きすぎれば目標を通り過ぎて振れ、小さすぎればとてつもなく遅くなります。洗濯機でいえば水流の強さに当たります。

何周回すかも前もって決めます。短ければ学びが足りず、長ければデータを覚えてしまいます。一度に何個ずつまとめて見るかも決める必要があります。まとまりが大きいと計算が安定しますがメモリを多く使い、小さいと揺れる代わりに浅い場所をうまく抜け出します。

モデルの形もダイヤルです。層を何層積むか、一層に何個置くか、学習のときに何パーセントを無作為に休ませるか、値が大きくなりすぎないようどれだけ強く抑えるかといったものです。これらの値は学習が用意してくれません。人が書き込んではじめて学習が始まります。ダイヤルの数だけ見れば少なく感じますが、一つひとつが結果に与える影響は決して小さくありません。

学習が決める値とは立場が違う

モデルの中には、学習が自分で値を決める数字が別にあります。それをパラメータと呼びます。パラメータは人が手を出す必要がなく、手を出せないほど多くもあります。数億個を超えるからです。

ハイパーパラメータは、それより一段上にあります。**パラメータが洗濯槽の中で服がひっくり返ってすすがれることなら、ハイパーパラメータはその動きがどう行われるかをあらかじめ決めるダイヤルです。**個数もずっと少なく、たいてい十個前後で、人が一つひとつ考えて書き込みます。名前が紛らわしくてよく混同されますが、値を誰が決めるかだけを見ればすぐ見分けが付きます。

良い組み合わせを見つける方法

一度で言い当てるのは難しいものです。ダイヤルどうしが影響を与え合うからです。水温を上げれば洗濯時間を短くしてもよいように、一歩を大きく取れば周回数を減らすべき、という具合です。

そこで何回も回してみます。値をいくつか候補に決めておき、組み合わせを漏れなく回してみる方法が一番単純です。候補の組み合わせが多くなりすぎると無作為に選んで回すこともあり、あるダイヤルは結果にほとんど影響しないため、こちらの方が効率的なことも多くあります。前の結果を参考に次に試す組み合わせを絞り込んでいく方法もあります。

一回が長くかかるほど、コツが要ります。データを少しだけ使って短く回しおおよその感触をつかんだあと、見込みのある組み合わせだけを全部回すという順序を取ります。

何で測って選ぶか

何回か回したあと、何を基準に選ぶかが最後の関門です。訓練データの点数で選んではいけません。データを覚えた回がいつも勝ってしまうからです。だから取り分けておいた検証データで測って選びます。

ここにも落とし穴があります。同じ検証データで何十回も選び続けると、そのデータにだけよく合う組み合わせが選ばれてしまいます。人の手を通して検証データを覚えたようなものです。だから最後の試験用紙の役目を果たすデータは、ダイヤルを選ぶあいだ一度も開かずに残しておきます。