畳み込みConvolution

重なった場所だけを数えます

畳み込みは写真全体を一度に見ません。小さな板が覆った分だけを見ます。板が縦横三マスなら、一度に見るのは写真のうち九点だけです。

計算そのものも単純です。重なった点の明るさと板に書かれた値を場所ごとに掛け合わせ、その結果をすべて足します。板に書かれた大きな値の場所に明るい点が来れば合計は大きくなり、ずれていれば合計は小さくなります。こうして出た数字一つが「この場所にその模様がどれだけはっきりあるか」を表す点数になります。

この計算はどの場所でもまったく同じです。左上でも右下でも同じ板、同じ方法です。場所ごとに違う判断をしないという点が、後で大きな得になって返ってきます。

一マスずつ動かして端まで行きます

一か所を数え終えたら板を横に動かします。ふつうは一マスずつ動かすので、さっき見た場所と新しく見る場所がほとんど重なります。こうして重ねながら調べると、模様が二つの場所にまたがっていても見逃しません。

動かすときに何マスずつ動かすかも決められます。一マスずつ動かせば細かく調べられる代わりに結果の表は元の写真とほぼ同じ大きさになり、二マスずつ動かせば調べる回数が半分に減る代わりに結果の表も半分の大きさになります。写真が大きく計算を切り詰めたいときは、大股に動かすこともあります。

板が広いほど一度に見られる範囲も広がります。ただし板をむやみに大きくすると、覚えておく値と計算がいっしょに膨らみます。そのため小さな板で何度も調べるほうを選ぶことが多いです。小さな板を二回重ねて使えば、結局は広い範囲を見ることになりながらも値ははるかに少なくて済みます。

端は別に手当てします

板を写真の内側だけで動かすと問題が一つ生まれます。いちばん端の点は板の真ん中に来る機会がなく計算が薄くなり、結果の表も元の写真より少し小さくなります。写真がいくつもの段を通る間にこの欠けが積み重なると、ふちの情報がどんどん削られていきます。

そこで写真の外側に空のマスを一列巻いてから調べる方法がよく使われます。額縁に余白を巻くのと似ています。こうすると端の点も真ん中に来られるようになり、結果の表の大きさも元の写真と同じに保たれます。巻く余白の幅は板の大きさに合わせて決めることが多く、板が大きいほど余白も広く取ります。

調べ終えると表一枚が残ります

一か所から出た点数一つだけを見ても意味がありません。調べ終わって点数が元の並びのとおりに並んだとき、初めて意味が生まれます。どの場所で模様が引っかかったかが、位置そのままに残るからです。

板を何枚も用意してそれぞれ別に調べると、表もその枚数だけできます。縦線を探す板が作った表、横線を探す板が作った表が別々に積み重なる形です。次の段はこの表の束を新しい写真のように受け取り、また調べます。調べる作業を幾重にも重ねると、だんだん大きな模様を扱えるようになる。これがこの計算が層として積み重なる理由です。板の枚数を増やすほど一度に見つけられる模様の種類も増えますが、その分だけ調べる手間も増えます。