ディープラーニングDeep Learning

層一つがすることは単純です

層一つを開けてみると、中にはとても単純な計算しか入っていません。入ってきた数字それぞれに決められた重みをかけて足し合わせ、その結果があるしきい値を超えるかどうかを見る程度です。この計算は紙と鉛筆でもできるくらい簡単です。

すごくなるのは重なったときです。最初の層が取り出した結果が二番目の層の材料になり、二番目の層の結果が三番目の層の材料になります。浄水器の水がフィルターを次々通るたびに澄んでいくように、数字の束は層を通るたびに少しずつ違う姿に変わります。

だからディープラーニングを理解するのに層一つと格闘する必要はありません。単純なものが順番に何度も重なったという絵さえつかめば十分です。この層がつながった全体の構造を神経網と呼びます。

手前の層は粗く、奥の層は細かく

写真を見分けるディープラーニングを覗くと、層ごとに反応するものが違います。いちばん手前の層は明暗の境目のようなとても粗いものにしか反応しません。次の層はその線が集まって作る模様に反応し、さらに奥の層は模様が集まった部分の形に反応します。

ずっと奥まで行ってようやく、これが何であるかに当たる信号が出てきます。フィルターが粗いものから順に取り除いて最後に飲める水を出す順序と同じです。粗いものから細かいものへと移っていくこの順序は、人が決めたものではなく学習の間に自然に生まれます。

何を見るかを人が決めてやらなくてよいです

ディープラーニング以前の機械学習では、人がやるべきことがもう一つありました。何を見て判断するかを先に決めてやることです。顔を見分けさせたいなら目と目の間の距離、鼻の長さといったものを人が選んで数値として取り出し、機械はその数値だけをもとに判断していました。

この作業が性能を左右し、同時に最大の壁でもありました。人が見落とした手がかりは機械も永遠に見られなかったからです。ディープラーニングはこの役目を層に渡します。元の写真をそのまま入れると、手前の層が見るべき手がかりを自分で作り出します。

人の仕事が一つ減り性能は大きく上がりましたが、代わりに何を見て判断したのか人にはわかりにくくなりました。ディープラーニングのモデルを中身のわからない箱と呼ぶ理由です。

深くなるほど代償も大きくなります

層を増やすと扱える問題は広がります。だから長い間、人々は層をもっと積もうとしてきました。ただ、積むだけではうまくいきませんでした。層が深くなるほど手前の層まで学びの信号が薄れ、手前がほとんど学べなくなる問題があったのです。この問題を解くいくつもの工夫が出てきて、ようやくとても深い神経網が可能になりました。

計算と例の量も一緒に増えます。層が多いと調節する値も増え、調節する値が多いとその分多くの例を見る必要があります。ディープラーニングが急に調子を上げ始めた時期が、画像処理用の演算装置と大規模なデータが揃った時期と重なるのは偶然ではありません。

だからディープラーニングがいつも正解とは限りません。例が数百個しかなかったり、判断の根拠を説明しなければならない仕事なら、層の浅い昔ながらの方式のほうがよい場合が多いです。