特徴マップFeature Map

場所を保つことが要です

特徴マップを理解する鍵は「値がいくつか」ではなく「値がどこにあるか」です。走査は写真の上の場所ごとに点数を一つずつ出しますが、その点数を場所と無関係に袋へ放り込んでしまえば何の役にも立ちません。点数を出てきた場所のとおりに格子に乗せるからこそ絵になります。

そのため特徴マップは元の写真と形がよく似ています。縦横の大きさは走査の幅や端の扱いによって少し変わりますが、左上は変わらず左上、右下は変わらず右下です。写真の中の物体が右にあったなら、特徴マップでも値が大きい場所は右に集まります。

この性質のおかげで物体がどこにあるかを突き止めることが可能になります。写真一枚に名札を一つ付けるだけの仕事でも、物体ごとに枠を付ける仕事でも、点単位で切り出す仕事でも、すべて特徴マップに残った位置をたどり直す方式です。位置が保たれていなければ、そのどれもが成り立ちません。

一枚ではなく一束です

一つの層には板が数十から数百枚あり、板ごとに別々に走査するので結果も板の数だけ出ます。縦線を探す板が作った絵、色が急に変わる場所を探す板が作った絵が並んで積み重なります。

同じ場所を何枚もの絵で同時に見ると、その場所の性質を読み取れます。縦線の絵でも横線の絵でも値が高い場所は、二つの線が出会う角である可能性が高いです。次の層はまさにこの点を利用します。何枚もを一度に覆う厚みのある板で走査しながら、どの絵どうしが同時に高いかを見てより大きな部品を見分けます。

上がるほど小さく厚くなります

層を通るたびに特徴マップの形が規則的に変わります。プーリングや大股の走査のせいで縦横は半分ずつ減り、板をより多く置くせいで枚数は二倍ずつ増えます。広くて薄かった束が、だんだん小さくて厚みのある束になります。

この変化が意味するところははっきりしています。手前の特徴マップの一マスは元の写真の爪ほどの場所一つを指しますが、奥の特徴マップの一マスは写真の広い区域をまるごと要約します。位置はつぶれ、代わりに「その近くに何があったか」という意味が込められます。最後の層まで来ると縦横が数マスしか残らず、一マスがほぼ写真全体を代表するようになります。

目で分かるのは手前だけです

特徴マップを絵として取り出してみると、最初の層は分かりやすいです。輪郭だけ残った写真、片方向の線だけが際立った写真のように元の写真の名残があります。何を見つけたのか人の目でも見当が付きます。

奥に行くほど事情が変わります。まだら模様の小さな格子にしか見えず、どのマスがなぜ点灯したのか一目では読み取れません。人が名付けようのない模様を扱っているからです。そのためモデルが何を見て判断したのか調べたい人たちは、特徴マップをそのまま見る代わりに、どの場所が結論に大きく寄与したかを元の写真の上に色を重ねて見る方法を使います。