CNNConvolutional Neural Network

앞쪽 단은 잔무늬부터 봐요

사진을 처음 받은 단이 하는 일은 뜻밖에 단순해요. 아주 작은 판을 사진 위에 얹고, 그 자리에서 밝기가 갑자기 꺾이는지, 선이 비스듬히 누웠는지 정도만 봐요. 판이 작으니 한 번에 살피는 넓이는 손톱만 해요. 이 단계에서는 아직 자동차도 강아지도 없고, 짧은 선과 얼룩만 있어요.

이 잔무늬가 다음 단의 재료가 돼요. 두 번째 단은 원본 사진이 아니라 첫 단이 찾아 둔 잔무늬 배치를 보고, 짧은 선 두 개가 직각으로 만나면 모서리, 짧은 선이 둥글게 이어지면 테두리라고 묶어요. 세 번째 단은 그 모서리와 테두리를 다시 묶어 바퀴, 창틀, 손잡이 같은 부품을 알아봐요.

단을 올라갈수록 판 하나가 원본 사진에서 실제로 훑고 있는 넓이도 같이 넓어져요. 앞쪽은 손톱만 한 자리를, 뒤쪽은 사진의 절반쯤을 한꺼번에 보는 셈이에요. 부품이 다 모인 뒤에야 "이건 자동차"라는 판단이 가능해지는 이유예요.

같은 판을 사진 구석구석에 써요

CNN이 사진에 특히 잘 맞는 이유가 여기 있어요. 왼쪽 위에서 세로선을 찾던 판과 오른쪽 아래에서 세로선을 찾는 판이 똑같은 판이에요. 자리마다 다른 판을 따로 두지 않아요.

덕분에 두 가지 이득이 생겨요. 첫째, 물체가 화면 왼쪽에 있든 오른쪽에 있든 같은 무늬로 잡혀요. 사진을 조금 옮겨 찍어도 알아보는 힘이 여기서 나와요. 둘째, 기억해 둘 값이 확 줄어요. 사진의 모든 자리마다 판을 따로 두면 값이 감당 못 할 만큼 늘어나는데, 판 하나를 돌려 쓰니 그럴 일이 없어요.

훑기와 줄이기를 번갈아 해요

훑기만 계속하면 다뤄야 할 그림이 줄지 않아요. 그래서 훑고 나면 한 번 간추려요. 옆 자리끼리 묶어 대표값만 남기면 그림이 절반 크기로 줄고, 남은 단은 더 넓은 범위를 한눈에 볼 수 있게 돼요.

훑기 → 줄이기 → 훑기 → 줄이기. 이 두 박자를 서너 번에서 수십 번까지 반복하는 것이 CNN의 뼈대예요. 반복할수록 그림은 작아지고, 대신 그 그림에 담긴 뜻은 굵어져요. 처음에는 가로세로가 큼직하고 얇았던 그림이, 끝에 가서는 작고 두툼한 값 묶음이 돼요.

맨 끝에서 이름표가 나와요

마지막 단까지 오면 남은 것은 "이 사진에 어떤 부품이 얼마나 있었는가"를 적은 짧은 값 묶음이에요. 여기서는 위치 정보가 거의 사라지고 성격만 남아요. 이 값 묶음을 이름표 목록과 견주어, 목록의 이름마다 점수를 매기고 가장 높은 하나를 답으로 내놔요.

같은 뼈대에 끝부분만 바꿔 다른 일을 시키기도 해요. 끝에서 점수 대신 네모의 위치와 크기를 내놓게 하면 물체를 찾아 상자를 치는 일이 되고, 자리마다 이름표를 내놓게 하면 점 단위로 오려 내는 일이 돼요. 앞쪽에서 무늬를 뽑는 부분은 그대로 두고 끝만 갈아 끼우는 방식이 흔해요.