データクリーニングData Cleaning

水で洗い流すもの:重複と空欄

同じ客が二回登録されていたり、同じ写真がファイル名だけ変えて二回入っていたりすることは、とてもよくあります。重複をそのままにすると、その資料だけが二倍の力を持ってしまいます。学習は何度も見たものをより重要だとみなすので、たまたま二回入った側へ結果が傾きます。

空欄も厄介の種です。年齢の欄が空いていて住所の欄も空いている行が混ざっていると、計算そのものが止まってしまうこともあります。空いている行を丸ごと抜くか、残りの値のだいたい真ん中あたりの値で埋めるか、「値なし」という印を別に立てるか、いずれかを選びます。どちらを選んだかを記録しておかないと、あとで結果を説明できません。

指先に当たる石:誤って入力された値

身長が300センチと入力されていたり、生まれ年が1800年代だったり、注文数量がマイナスになっている行が出てきます。人が入力するときに手が滑った跡か、機械が一瞬おかしく記録した跡です。こういう値が一つあるだけで、平均が丸ごと引きずられます。

ただし目立つ値がすべて間違いというわけではありません。ある日の売上がいつもの三十倍というのは入力ミスかもしれませんが、本当にイベントがあった日かもしれません。だからクリーニングは「おかしく見える値を探すこと」と「その値が本物か確かめること」が一体になって動きます。確かめる方法がないときは、消す代わりに印だけ付けて残すこともあります。

目盛りを合わせる:ばらばらな表記

意味は同じなのに書き方が違う場合が本当にたくさんあります。ある欄に「東京」「東京都」「Tokyo」が混ざっていると、機械はこの三つを別々の場所として数えます。日付も同じです。ある行は年月日の順で、ある行は月日年の順で書かれていると、時間の順序がこんがらがります。

単位もそろえなければなりません。重さの欄にキログラムとグラムが混ざっていると、ある行は他の行より千倍重い物になってしまいます。前後に付いた空白、大文字と小文字、電話番号のハイフンのようなささいに見える違いも、機械にとってはすべて別の値です。

手入れした跡を残しておく

クリーニングは一度やって終わる掃除ではありません。どんな規則で何を消し、何を埋めたかを一覧として残しておいてこそ、新しい資料が入ってきたときに同じ規則を再び当てはめられます。記録がなければ、二か月後に手入れした資料と今手入れした資料の基準が違ってしまいます。

原本を上書きしないことも大事です。手入れした後のファイルは別に作り、原本はそのまま残しておけば、あとで判断が間違っていたと分かったときに戻る場所が残ります。取り除いた行を別にまとめておけばなお良いです。結果がおかしいときにいちばん先に覗く場所が、まさにその箱だからです。

クリーニングにかかる手間がどれくらいかも知っておく価値があります。現場では資料を扱う時間の半分以上が手入れに使われることがよくあります。派手な部分ではありませんが、この時間を惜しむと、あとで原因の分からないおかしな結果の前で、もっと長い時間を使うことになります。