실시간 추론Real-Time Inference

시간 예산이 먼저 정해져요

실시간이라는 말에는 정해진 숫자가 없어요. 용도가 그 숫자를 정해요. 웹캠 화면에 표시를 얹는 일이라면 1초에 서른 장쯤 들어오니 한 장에 주어진 시간은 그 간격 하나예요. 이 안에 읽고 판단하고 그리는 일까지 다 들어가야 해요.

말에 반응하는 비서라면 기준이 훨씬 느슨해요. 사람이 답을 기다려 주는 시간이 있으니까요. 반대로 빠르게 지나가는 물건을 검사하는 자리라면 훨씬 빡빡해요. 같은 모델이라도 어디에 쓰느냐에 따라 실시간이 되기도 하고 안 되기도 해요.

예산에는 계산 시간만 들어가는 게 아니에요. 카메라에서 그림이 넘어오는 시간, 크기를 맞추는 시간, 결과를 화면에 그리는 시간이 모두 같은 주머니에서 나가요. 모델만 빨라도 전체가 늦을 수 있어요.

한 번 밀리면 눈덩이처럼 커져요

한 장에 주어진 시간을 조금만 넘겨도 문제가 커져요. 처리하는 동안 다음 장면이 들어와 줄을 서고, 그다음 장면이 또 들어와요. 처리 속도가 들어오는 속도를 못 따라가면 줄은 계속 길어지고, 화면에 보이는 결과는 점점 옛날 장면의 결과가 돼요.

몇 초만 지나도 손을 흔든 뒤 한참 있다가 표시가 따라오는 이상한 상태가 돼요. 그래서 실시간으로 돌리는 프로그램은 줄을 쌓지 않아요. 밀리는 순간 중간 장면을 그냥 버려요. 30장 중 열 장만 처리하더라도 지금 장면을 보는 쪽이 훨씬 나으니까요.

건너뛴 장면 때문에 표시가 조금 뚝뚝 끊겨 보여도, 늦은 결과보다는 나아요. 실시간 처리에서 버리는 일은 실패가 아니라 정상 동작이에요.

시간을 버는 방법들

가장 먼저 손대는 곳은 입력 크기예요. 그림을 절반 크기로 줄이면 봐야 할 점의 수가 크게 줄어요. 얼굴이 화면을 꽉 채우는 용도라면 작은 그림으로도 충분해요.

다음은 모델 자체를 가벼운 것으로 바꾸는 일이에요. 같은 일을 하는 여러 크기가 나와 있어서, 조금 덜 정확하지만 훨씬 빠른 쪽을 고를 수 있어요. 숫자를 다루는 자릿수를 줄여 계산을 가볍게 만드는 방법도 함께 써요.

일을 나눠 하는 방법도 있어요. 무거운 판단은 몇 장에 한 번만 하고, 그사이 장면들은 앞 결과를 옮겨 가며 따라붙게 하는 식이에요. 매 장면마다 처음부터 다시 찾지 않아도 되니 예산이 크게 남아요.

평균이 아니라 최악을 봐요

"평균 처리 시간"이라는 숫자는 실시간에서 믿을 게 못 돼요. 스무 장은 빠르게 처리하다가 한 장에서 갑자기 오래 걸리면 그 순간 화면이 튀고, 사람은 그 한 번을 기억해요. 평균은 멀쩡한데 쓰기에는 불편한 상태가 흔해요.

그래서 가장 느렸던 쪽 몇 퍼센트를 따로 봐요. 다른 프로그램이 잠깐 끼어들거나, 메모리를 새로 잡거나, 기기가 뜨거워져 속도를 줄일 때 이런 튐이 생겨요. 미리 자리를 잡아 두고 매번 같은 크기로 처리하게 만들면 튐이 줄어요.

어디서 계산하느냐가 크게 갈라요

계산을 멀리 있는 서버에 맡기면 힘센 장비를 쓸 수 있지만, 그림을 보내고 결과를 받아 오는 왕복 시간이 예산에 통째로 더해져요. 연결이 잠깐 흔들리면 그 순간만 크게 늦어지기도 해요.

그래서 화면에 곧바로 반응해야 하는 일은 기기 안에서 처리하는 쪽을 고르는 경우가 많아요. 브라우저나 휴대폰 안에서 도는 대신 가벼운 모델을 써야 하죠. 무거운 판단만 가끔 서버에 맡기고 나머지는 기기에서 처리하는 식으로 섞기도 해요.