ラベリングLabeling

付ける作業がそのまま基準を作る作業です

ラベリングは単なる下準備と見られがちですが、実際には何を正解とみなすかを決める場です。どちらに付けたかがそのままモデルが学ぶ内容になり、あとで採点するときの物差しになります。

だからラベリングを始める前に決めておくことがあります。どんな枠に分けるか、枠に入らないものはどうするか、一つに複数の答えが付いてよいかです。これを決めずに手を付けると、半分進んだところで最初からやり直すことになります。

指針書が作業の半分です

よくできた指針書には枠の名前だけが書いてあるのではありません。境界にかかった例がいっしょに載っています。こういう場合はこの枠、こういう場合はあの枠だと、実際のデータを見せる形です。

指針書は最初から完成しません。作業中に行き詰まった事例が出るたびに判断を書き足しながら育っていきます。だから序盤は少しずつ付けながら指針を練り上げ、規則が安定してから本格的に量をこなす順序を踏みます。

指針が変わると、それより前に付けたものを見直して直す必要があります。前半と後半で基準が違うデータの束は、学ぶのも採点するのも難しくなります。

人によって付き方が違います

同じデータを二人に渡すと、判断が分かれる分が必ず生まれます。この割れ具合を数値にしておくと、データの状態がわかります。一致度が低いなら、作業者が怠けたのではなく、指針があいまいかデータ自体があいまいだという意味です。

この数値は期待値を決めるのにも使われます。人どうしでも七回中五回しか同じ答えを出せないデータなら、モデルにそれ以上の点数を求めること自体が無理な話です。

あいまいなものは捨てずに集めます

境界にかかったデータを適当な枠に押し込むと、その場は楽でもあとで代償を払います。モデルはそのあいまいな枠でこそ一番よく間違えますが、正解自体が揺れているので直す方向すら見えません。

だからあいまいなものは保留の枠に別に集めておき、まとめて話し合います。ここから出た判断が指針書の最も価値ある部分になります。残しておいた保留データは、あとでモデルがどこで迷うかを確かめる試験データとしても役立ちます。

手間を減らしても検収は残ります

データが増えると人手だけでは追いつかなくなります。規則で自動的に付けたり、すでに学習済みのモデルに下書きを付けさせて人が直したりする方法を使います。確信の低いものだけ選んで人に回す方法もよく使われます。

ただし、どの方法を使っても人による検収の場は残ります。自動で付けた答えには同じ方向の誤りが規則的に混じり込み、こうした誤りはでたらめな誤りよりずっと悪く働くからです。付けた結果の一部を抜き出して人がもう一度確認する手順を、最初から日程に組み込んでおきます。