交差検証Cross-Validation

分けた一つずつを順番に検証用として使います

持っているデータを4つに均等に分けたとします。1回目は最初の一つを脇によけておき、残り3つで学習したあと、よけておいた一つで採点します。2回目は最初の一つを戻して、2番目の一つをよけます。こうして4回繰り返すと、すべての一つ一つがちょうど1回ずつ検証を担当することになります。

回ごとにモデルは最初から新しく学習します。前の回で学んだものを引き継ぐと、すでに見たデータが検証用の一つに紛れ込んで点数が水増しされてしまうからです。1回終わるたびに点数を書き留め、最後に4つの点数を平均します。あわせて点数のばらつき具合まで見ると、その点数をどれだけ信じてよいかも見積もれます。

平均を取らなければならない理由

データを一度だけ切り分けて検証すると、その一つに何が入ったかが点数を大きく左右します。特に易しいものが集まれば点数は実際より高く出て、手強いものが集まれば低く出ます。データが少ないほどこの揺れは大きくなり、分け方を変えただけで点数が数パーセント上下します。

この状態で二つのモデルを比べてどちらが優れているかを言うのは難しいことです。点数の差が実力の差なのか、切り分けたときの運なのか区別がつかないからです。**何度も分けて得た点数の平均は、一度きりの運を打ち消してくれます。**点数どうしがどれだけ開いているかもあわせて見れば、その差に意味があるかどうかを判断する根拠になります。

いくつに分けるか

一般には5つや10に分けることが多いです。分ける数が多いほど、各回に学習で使えるデータが増えて実際の状況に近づきますが、学習の回数もその分増えます。データがとても少ないときは、分ける数をデータの件数と同じにして、1件ずつ抜き出しては検証することもあります。もっともデータを無駄にしませんが、もっとも時間がかかるやり方です。

種類に偏りのあるデータなら、それぞれの一つで種類の比率が元と同じになるように分けます。こうしないと、ある一つに珍しい種類が一件も入らず、その回の点数が崩れてしまいます。日付のあるデータは順序を守り、前の期間で学び後の期間で検証するように分ける必要があります。後の期間で学んで前を当てる回は、実際には起こり得ない状況だからです。

分ける数をいくつにするかは、データの量とかけられる時間とのすり合わせで決まります。決まった正解はなく、まずは5つあたりから試して、結果の揺れが大きいようなら数を増やすという進め方がよく使われます。

払わなければならない代償

交差検証が払う代償は時間です。5つに分ければ学習を5回、10に分ければ10回繰り返します。数分で終わる小さなモデルなら負担になりませんが、1回の学習に何日もかかる大きなモデルでは現実的に使いにくくなります。そのため大きなモデルでは一度だけ取り分けた検証データを使い、交差検証はデータが少ない問題や小さなモデルで主に使われます。

設定を選ぶために交差検証を使うときも油断は禁物です。**同じ分け方で候補を何百と比べると、その分け方そのものに合わせ込まれてしまいます。**そのため最終的な性能は、交差検証に一度も使っていないデータで別に測るのが安全です。