教師なし学習Unsupervised Learning

答えのない資料のほうがずっと多いです

教師あり学習をするには資料ごとに答えを書いておく必要があり、その作業は人の手で一つずつ進めるしかありません。一方、自然にたまる資料には答えがありません。貸し出し記録、決済履歴、アクセス記録、インターネットに上がった文章や写真はどれも答えのないまま積み上がった山です。

量で見ると答えのない側が圧倒的です。教師なし学習はこの山をそのまま使えるので、答えを付ける費用と時間を飛び越えられます。その代わり何を見つけ出すかをあらかじめ決めておけません。何が出てくるかわからないまま始めるわけです。

似たものをまとめる

最も広く使われる使い道はグループ分けです。記録一つひとつをいくつかの数字に置き換え、その数字が近いものどうしをまとめます。貸し出し記録なら、乗った時間帯、乗った距離、返却位置のような値が場所を決めます。

ここで出てくるグループには名前がありません。1番グループ、2番グループというだけです。これを見て「ああ、これは通勤客だ」と名前を付けるのは、あとで人がやることです。機械は境界線を引くだけで、その群れがどういう意味かは教えてくれません。

項目を減らして一目で見る

記録一つに付いた項目が数十、数百もあると、人の目では見られません。そこで互いに重なっているか、ほとんど変わらない項目を取り除いて二つ三つに減らします。減らした値で場所を決めて並べると、紙一枚の上に全体像が収まります。

情報を少し失う代わりに目で見られるようになる取引です。貸し出し記録を縦横二つの値に減らして打ってみると、先ほどのかたまりが実際に離れているかどうかがすぐに目に入ります。

一人だけ離れたものを見つける

群れから大きく外れた記録も自然と目立ちます。夜中の三時に借りていって三日後にまったく違う街で見つかった記録のようなものです。どの群れにも属さない資料を選び出すこの使い道を異常検知と呼びます。

あらかじめ「これは盗難だ」と教えたことがないのに選り分けられるのが要点です。カードの不正利用や設備の故障の兆しを探す場面で、この方式がよく使われます。

まれな出来事ほど答えつきの例を集めにくくなります。故障がめったに起きない設備から故障の例だけを選んで数千件集めるのはほぼ不可能です。普段の姿だけをたくさん見せて、そこから外れるものを見つける方が現実的な理由です。

うまくいったか測るのが難しいです

教師あり学習は答えがあるので、いくつ当てたか数えれば終わりです。教師なし学習は答えがないので採点ができません。群れを三つに分けた結果と五つに分けた結果のどちらが正しいかを決める根拠が資料の中にありません。

そこで群れどうしがきれいに離れているかといった間接的な物差しを使うか、結局は人が見て使いみちを判断します。同じ資料でも、どの項目を入れてどの物差しを使うかによってまったく違う群れが出てきます。