컴퓨터 비전Computer Vision

컴퓨터에게 사진은 숫자 표예요

화면 속 사진을 아주 크게 확대하면 작은 네모가 격자로 늘어서 있어요. 네모 하나마다 빨강, 초록, 파랑이 얼마나 섞였는지가 숫자로 적혀 있고, 사진 한 장은 이 숫자가 수백만 칸 늘어선 표예요. 컴퓨터가 받는 것은 딱 여기까지예요.

사람은 이 표를 한 번도 본 적이 없어요. 눈이 알아서 덩어리를 묶고 배경과 물체를 갈라 주니까요. 컴퓨터는 그 과정을 처음부터 만들어 넣어야 해요. 옆 칸과 숫자가 얼마나 다른지, 그 차이가 어떤 모양으로 이어지는지를 계산해서 덩어리를 찾아내요.

점에서 모서리로, 모서리에서 물체로

처리는 한 번에 뛰지 않고 층층이 올라가요. 맨 아래에서는 이웃한 칸의 밝기 차이만 봐요. 차이가 크게 나는 자리가 줄지어 있으면 모서리예요. 그다음 층은 모서리들이 어떻게 모여 있는지를 봐요. 나란히 반복되면 줄무늬, 둥글게 닫히면 동그란 것이에요.

더 위로 가면 이런 조각들이 어떤 배치로 놓였는지를 봐요. 둥근 것 위에 가로줄 두 개가 있고 아래에 세로 기둥이 있다는 식의 배치가 쌓이면 비로소 "무엇"에 가까워져요. 아래층일수록 어느 사진에나 통하는 일반적인 무늬를, 위층일수록 그 물체에만 있는 특징을 잡아요.

이 층들을 사람이 하나하나 설계하던 시절도 있었어요. 지금은 예시 사진을 대량으로 보여 주면서 각 층이 무엇을 볼지 스스로 잡게 하는 방식이 자리를 잡았고, 성능이 크게 올라간 것도 이 전환 이후예요.

묻는 말에 따라 답의 모양이 달라져요

같은 사진을 놓고도 무엇을 묻느냐에 따라 하는 일이 완전히 달라져요. "이 사진이 무엇이냐"고 물으면 사진 한 장에 이름표 하나가 나와요. "무엇이 어디에 있느냐"고 물으면 물체마다 네모 칸을 그리고 이름을 붙여요.

"어디까지가 그것이냐"고 물으면 점 하나하나를 물체와 배경으로 갈라요. 배경을 지우거나 특정 대상만 색을 바꾸는 기능이 여기에 해당해요. 이 밖에도 글자를 읽어 내는 일, 얼마나 멀리 있는지 재는 일, 영상에서 같은 물체를 계속 따라가는 일이 각각 다른 갈래로 나뉘어요.

이미 곳곳에 들어와 있어요

휴대전화 카메라가 초점을 잡고 사진을 밝게 다듬는 과정, 사진첩이 알아서 앨범을 묶는 기능, 영상 통화에서 배경만 흐리게 하는 기능이 모두 이 기술이에요. 주차장 차단기가 번호판을 읽는 것도, 공장에서 흠집 난 제품을 골라내는 것도 같은 갈래예요.

눈에 잘 띄지 않는 자리에도 많이 들어가 있어요. 서류를 사진으로 찍어 글자로 바꾸는 일, 농장에서 잎사귀 상태를 살피는 일처럼 사람이 눈으로 하던 반복 확인이 특히 많이 넘어갔어요.

잘 속고 잘 틀리는 자리

성능이 좋아졌어도 틀리는 자리는 사람과 아주 달라요. 배운 적 없는 각도, 처음 보는 조명, 반쯤 가려진 물체 앞에서 성적이 뚝 떨어져요. 사진에 사람 눈으로는 알아채기 힘든 잔무늬를 얹었더니 전혀 다른 답을 내놓는 실험도 잘 알려져 있어요.

더 곤란한 점은 틀릴 때도 머뭇거리지 않는다는 거예요. 설명대는 잘 모르겠다고 말하는 대신 그럴듯한 설명을 붙여요. 그래서 사람 눈이 반드시 한 번 더 확인해야 하는 자리가 어디인지 정해 두고 쓰는 게 중요해요.