データリーケージData Leakage

入り込んだ情報は点数を膨らませる

モデルを作るときは資料を学習用と採点用に分けておきます。学習用で学ばせて、採点用は手を付けないまま最後に取り出して実力を測ります。採点用はモデルが初めて見る資料であってこそ、点数に意味が生まれるからです。

ところが採点用の資料が少しでも学習側へ渡ってしまうと、モデルは答えを知った状態で採点を受けます。点数はとても良く出て、みんな良いモデルを作ったと信じます。問題は実際の場面に出す瞬間です。そのときは渡ってくる情報がないので、性能ががくんと落ちます。

この失敗が怖いのは向きです。ほかの問題はたいてい点数を下げて自分の存在を知らせますが、リーケージは点数を上げて自分を隠します。結果があまりに良いと、喜ぶ前に隙間を探すべき理由です。

どこに隙間ができるのか

一つ目の隙間は順序です。資料全体を見て空欄を平均値で埋めたり値の範囲をそろえたりしたあとで学習用と採点用を分けると、採点用の資料の値がすでにその平均の中に混ざり込んでいます。手入れは分けたあとに、学習用だけを見て決めた基準で行わなければなりません。

二つ目の隙間は同じものが両方に入る場合です。一人の記録が複数の行に散らばっているのに行単位で分けてしまうと、同じ人が学習用にも採点用にも入ってしまいます。同じ商品の写真を角度だけ変えて何枚も撮った場合も同じです。こういうときは人単位、物単位でまとめてから分けなければなりません。

三つ目の隙間は時間です。先のことを当てる問題なのに資料を無作為に混ぜて分けると、あとで起きたことを学んでその前のことを当てる形になってしまいます。時間が絡む問題は、必ずある時点を基準に前後を分けなければなりません。

答えが別の名前で入り込んだ欄

いちばん気づきにくい隙間は、答えが別の名前で入り込んでいる欄です。病気にかかっているかを当てる問題に「処方された薬の名前」の欄が入っていたら、モデルは病気を見分ける代わりに薬の名前を読んでしまいます。解約する客を当てる問題に「解約処理日」が入っているのも同じことです。

こういう欄は人が見ても自然に見えます。だから各欄がいつ作られる値なのかを確かめる必要があります。当てたい瞬間より後にできる値なら、実際に使うときには存在しない値なので、学習に入れてはいけません。

漏れる場所を見つける方法

いちばん良い手がかりは、良すぎる点数です。難しい問題なのにほとんど全部当てるなら、喜ぶ前に疑います。ある欄を抜くと点数ががくんと落ちる欄があれば、その欄が漏れる場所である可能性が高いです。

資料を扱う順序を一つの流れにまとめておくことも助けになります。分ける、手入れする、学習する、採点するを人の手でそのつど行うと、順序がこんがらがりやすくなります。順序を固定しておけば、隙間ができる場所そのものが減ります。