パラメータParameter

つまみを回すのは学習です

モデルを初めて作ると、つまみは意味のない値のまま散らばっています。この状態で問題を解かせれば、当然とんちんかんな答えが出ます。学習はそのとんちんかんさの大きさを測り、どのつまみをどちら向きにどれだけ回せば次はより外れが小さくなるかを計算して少しずつ動かす作業です。

一度に大きく回さないことが重要です。大きく回すと今回の問題は合っても、前に解けていた問題をまた外してしまいます。ほんの少しずつ回すことを数え切れないほど繰り返すと、いろいろな問題をまんべんなくうまく解ける場所へ徐々に移っていきます。

掛けるつまみと足すつまみ

つまみは二種類です。一つは入ってきた値に掛けられる値です。この値が大きければその入力を重要視し、小さければ聞き流し、負の値なら反対に受け止めます。どの信号にどれだけ耳を傾けるかを決めるつまみです。

もう一つは計算が終わったあとに足される値です。掛け算だけでは結果全体を上下に動かせないからです。このつまみは判断の基準線そのものを上げたり下げたりします。甘く見るか厳しく見るかを決めるつまみと言えます。

個数は掛けるほうが圧倒的に多いです。前の層の升目と後ろの層の升目を一つずつつなぐ値なので、層が広がると掛け算式に増えていきます。足すほうは後ろの層の升目ごとに一つずつしか付かず、全体のごくわずかな割合です。

個数がそのままモデルの大きさです

あるモデルを大きい・小さいと言うとき、測っているのはまさにこのつまみの個数です。つまみが多いほど詰め込める規則が細かくなり、微妙な違いまで見分ける余地が生まれます。代わりに値を保存しておく容量が大きくなり、実行するときにメモリに載せておく場所もそれだけ必要になります。

多ければ無条件に良くなるわけではありません。学ぶ資料に比べてつまみが多すぎると、問題を解くこつではなく資料そのものを丸暗記してしまいます。そのため資料の量、使える計算資源、つまみの個数を互いに合わせて決めます。軽い機器で動かすために、つまみの値を粗く保存したり、あまり使われないつまみを取り除いたりする方法も一緒に使われます。

人が決める値は別にあります

学習中に値がひとりでに決まるものだけがパラメータです。一度にどれだけ回すか、資料を何回繰り返し見るか、層をいくつ積むかといった値は、人が学習を始める前にあらかじめ決めます。こうした値はハイパーパラメータと別に呼びます。

二つの違いは誰が決めるかです。調理する人があらかじめ決めるのは火加減と煮る時間で、味を見ながら直していくのはソースの配合です。学習がうまくいかないとき手を加えるべき場所は、たいてい人があらかじめ決めたほうです。