합성곱Convolution

겹친 자리만 셈해요

합성곱은 사진 전체를 한꺼번에 보지 않아요. 작은 판이 덮은 만큼만 봐요. 판이 가로세로 세 칸짜리라면 한 번에 보는 것은 사진에서 아홉 점뿐이에요.

계산 자체도 단순해요. 겹친 점의 밝기와 판에 적힌 값을 자리끼리 짝지어 곱하고, 그 결과를 모두 더해요. 판에 적힌 값이 큰 자리에 밝은 점이 오면 합이 커지고, 어긋나면 합이 작아져요. 그래서 나온 숫자 하나가 "이 자리에 그 무늬가 얼마나 뚜렷한가"를 말해 주는 점수가 돼요.

이 계산은 자리마다 완전히 똑같아요. 왼쪽 위든 오른쪽 아래든 같은 판, 같은 방식이에요. 자리마다 다르게 판단하지 않는다는 점이 뒤에서 큰 이득으로 돌아와요.

한 칸씩 밀며 끝까지 가요

한 자리를 셈했으면 판을 옆으로 밀어요. 보통 한 칸씩 밀기 때문에, 방금 본 자리와 새로 보는 자리가 거의 겹쳐요. 이렇게 겹쳐 가며 훑어야 무늬가 두 자리 사이에 걸쳐 있어도 놓치지 않아요.

밀 때 몇 칸씩 옮길지를 정할 수 있어요. 한 칸씩 밀면 촘촘하게 훑는 대신 결과 표가 원본만큼 커지고, 두 칸씩 밀면 훑는 횟수가 절반으로 줄어드는 대신 결과 표도 절반 크기로 작아져요. 사진이 크고 계산을 아껴야 할 때는 성큼성큼 밀기도 해요.

판이 넓을수록 한 번에 보는 범위도 넓어져요. 다만 판을 무작정 키우면 기억해 둘 값과 계산이 함께 불어나요. 그래서 작은 판으로 여러 번 훑는 쪽을 더 많이 골라요. 작은 판을 두 번 겹쳐 쓰면 결국 넓은 범위를 보게 되면서도 값은 훨씬 적게 들거든요.

가장자리는 따로 챙겨요

판을 사진 안쪽에서만 움직이면 문제가 하나 생겨요. 맨 가장자리 점은 판 한가운데에 놓일 기회가 없어서 덜 셈해지고, 결과 표도 원본보다 조금 작아져요. 사진이 여러 단을 거치는 동안 이 손실이 쌓이면 테두리 정보가 계속 깎여 나가요.

그래서 사진 바깥에 빈 칸을 한 줄 둘러 두고 훑는 방법을 흔히 써요. 액자에 여백을 두르는 것과 비슷해요. 이렇게 하면 가장자리 점도 한가운데에 놓일 수 있고, 결과 표 크기도 원본과 같게 유지돼요.

훑고 나면 표 한 장이 남아요

한 자리에서 나온 점수 하나만 보면 아무 뜻이 없어요. 훑기가 끝나 점수가 원래 배치대로 늘어섰을 때 비로소 뜻이 생겨요. 어느 자리에서 무늬가 걸렸는지가 위치 그대로 남기 때문이에요.

판을 여러 장 준비해 각각 따로 훑으면, 표도 그만큼 여러 장 나와요. 세로선을 찾는 판이 만든 표, 가로선을 찾는 판이 만든 표가 따로 쌓이는 식이에요. 다음 단은 이 표 묶음을 새 사진처럼 받아 다시 훑어요. 훑기를 겹겹이 이어 붙이면 점점 큰 무늬를 다룰 수 있게 되는 것이 이 계산이 층으로 쌓이는 이유예요.