チェックポイントCheckpoint

なぜ途中で移し挿しておくのか

大きなモデルの学習は数日から数週間かかります。そのあいだに停電が起きたり、借りていた計算資源の時間が切れたり、ちょっとしたエラーでプログラムが止まったりします。保存ファイルがなければ、その瞬間までの時間と費用が、ほどけた目のようにすべて消えてしまいます。

戻れることも大きな理由です。学習を長く回していると、ある地点を超えるとかえって悪くなることがよくあります。回ごとに目を移しておけば、一番良かった回を取り出せばよいだけです。残していなければ、悪くなった結果をそのまま受け入れるか、最初からやり直すしかありません。

設定を変えて枝分かれ的にいくつも実験するときにも役立ちます。中間の保存ファイル一つを何部も複製してそれぞれ違う設定で続きを回せば、前半を繰り返さずに複数の枝を比べられます。長く時間のかかる学習ほど、この分岐がもたらす時間の節約は大きくなります。

何が一緒にあれば続きが編めるか

一番大事なのはモデルの中の値です。学習がこれまで合わせてきた数字の束です。これさえあれば、その時点のモデルで答えを出すことはできます。

ただし続けて学習するには、それだけでは足りません。今が何回目か、一歩の大きさが計画上今いくつか、値を動かす道具がこれまで積んできた勢いがどれくらいかが一緒にある必要があります。この情報なしに値だけ持って続けると、一歩が最初のように大きくなったり勢いが途切れたりして、学習がしばらく揺れます。目だけ移し挿して何段目か書き留めておかないと、模様がずれるのと同じです。答えを出すための保存ファイルと続きをするための保存ファイルは、入れるものが違います。

予備の棒がすぐ足りなくなる

保存ファイルは思ったより重いものです。モデルの中の値が数億個なので一つが数ギガバイトに達することもあり、続きをするための情報まで入れると二、三倍に膨らみます。回ごとに残していると、保存容量があっという間になくなります。

そこで規則を決めておきます。一番新しいものをいくつか残して古いものから消しつつ、点数が一番良かった保存ファイルだけは消さずに別に印を付けておく、という具合です。保存ファイルの名前に回数と点数を書いておくのも、このためです。あとで複数残ったとき、どれがどの時点のものか分からなければ取り出せません。

人に手渡すもの

学習を終えたあとに人に配るのも、結局この保存ファイルです。このときは続きをするための情報を抜いて、値だけを入れて軽くします。受け取る側はほとんど答えを出すことにしか使わないからです。

反対に、人が公開した保存ファイルを受け取って自分のデータで続きを学習させることもよくあります。何もない状態から始める代わりに、すでに多くを学んだ状態から出発するので、時間と費用が大きく減ります。広く使われるモデルをダウンロードして手を加えるとき、私たちが実際に手にするのは、そのモデルのチェックポイント一つです。