손 추적Hand Tracking
손의 마디 자리를 매 순간 이어서 따라가는 일
- 손 추적은 손목과 손가락 마디에 점을 찍고, 그 점을 매 장면 다시 찍어 이어 붙이는 일이에요. 한 장이 아니라 흐름을 다뤄요.
- 손 하나에 흔히 스물한 자리를 써요. 손목 한 곳과 손가락마다 네 마디씩이에요.
- 앞 장면에서 손이 있던 자리를 알고 있으면 다음 장면은 그 언저리만 살펴도 돼요. 이 덕분에 휴대폰에서도 실시간으로 돌아가요.
- 손이 화면 밖으로 나가거나 가려져 놓치면 처음부터 다시 찾는 단계로 돌아가요.
- 점은 매번 조금씩 흔들려요. 앞뒤 장면을 섞어 부드럽게 다듬으면 안정되지만 반응이 조금 늦어져요.
목차
1비유로 이해하기
정전이 난 밤에 손전등 하나로 방을 살펴본 적이 있을 거예요. 불빛이 닿는 동그라미는 손바닥만 한데, 그 안에 두고 싶은 것이 자꾸 움직이면 손전등을 계속 따라 옮겨야 해요. 지금 비추는 자리를 보면서 다음 순간 어디로 갈지 짐작해 미리 조금씩 손목을 트는 식이에요.
이 일의 요령은 매번 방 전체를 훑지 않는 데 있어요. 방금 비추던 자리 언저리만 살피면 되니까 팔이 편하고 반응도 빨라요. 대신 대상이 가구 뒤로 들어가거나 문밖으로 나가면 요령이 통하지 않아요. 그때는 불빛을 넓게 벌려 방을 처음부터 다시 훑어야 해요.
손전등을 홱홱 돌리는 것도 좋지 않아요. 동그라미가 덜컹거리면 무엇을 보고 있는지 알기 어려우니, 조금 늦더라도 부드럽게 이어 옮겨요. 손 추적이 하는 일이 이 손전등 다루기예요.
2자세히 알아보기
한 장이 아니라 흐름을 다뤄요
사진 한 장에서 손 마디에 점을 찍는 일과, 영상에서 손을 따라가는 일은 목표가 달라요. 앞의 것은 "지금 어디 있나"에 답하고, 뒤의 것은 "아까 그 손이 지금 어디로 갔나"에 답해요. 뒤의 것을 하려면 앞 장면의 결과를 기억하고 있어야 해요.
손 하나에 흔히 쓰는 자리는 스물한 곳이에요. 손목 한 곳, 그리고 다섯 손가락마다 뿌리부터 끝까지 네 마디씩이에요. 이 스물한 개의 점이 매 장면 새로 찍히고, 앞 장면의 점과 이어져 자취를 만들어요.
번호는 고정돼 있어요. 몇 번 점이 엄지 끝인지가 늘 같으니, 앞 장면의 엄지 끝과 지금 장면의 엄지 끝을 그대로 견줄 수 있어요. 이 뺄셈이 "엄지가 위로 3만큼 움직였다" 같은 정보를 만들어요.
앞 장면을 알면 찾을 자리가 좁아져요
화면 전체에서 손을 찾는 일은 무거워요. 반대로 손이 있던 네모를 알고 있으면, 다음 장면에서는 그 네모를 조금 넓힌 범위만 살펴도 웬만하면 손이 그 안에 있어요. 사람 손이 한 장면 사이에 화면 반대쪽으로 순간 이동하지는 않으니까요.
그래서 실제 도구는 두 단계를 나눠 돌려요. 손을 처음 찾는 무거운 단계는 가끔만 돌리고, 마디 점을 찍는 가벼운 단계는 매 장면 돌려요. 손을 잘 따라가는 동안에는 무거운 단계를 아예 건너뛰기도 해요.
이 구조 덕분에 웹 브라우저나 휴대폰처럼 계산 여력이 넉넉하지 않은 환경에서도 초당 수십 장을 처리할 수 있어요. 체험 도구를 켰을 때 처음 손을 인식하는 데 잠깐 걸리다가 그다음부터 부드러워지는 이유가 여기 있어요.
놓치면 처음부터 다시 찾아요
추적은 언제든 끊길 수 있어요. 손이 화면 밖으로 나가거나, 몸에 가려지거나, 너무 빨리 움직여 잔상만 남거나, 다른 손과 겹치는 순간에 자취가 끊겨요. 이때 필요한 것이 끊긴 것을 알아채는 장치예요.
알아채는 방법은 확신 값이에요. 마디 점마다 붙는 값이 한꺼번에 뚝 떨어지면 지금 보고 있는 자리에 손이 없다는 뜻이에요. 그러면 좁혀 둔 범위를 버리고 화면 전체를 다시 훑는 단계로 돌아가요.
이 되돌아가기를 게을리하면 이상한 일이 벌어져요. 손이 이미 화면을 떠났는데도 마지막 자리 근처를 계속 뒤지느라 벽지 무늬에 점이 붙어 버리는 식이에요. 반대로 너무 예민하게 되돌아가면 손이 잠깐 흐려질 때마다 처음부터 다시 찾느라 화면이 끊겨요.
떨림을 줄이면 반응이 늦어져요
가만히 있는 손에도 점은 조금씩 흔들려요. 장면마다 따로 계산하니 몇 픽셀씩 어긋나고, 그 어긋남이 화면에서는 떨림으로 보여요. 손끝으로 무언가를 그리는 기능이라면 선이 지저분해져요.
그래서 앞 장면의 자리와 지금 자리를 섞어 부드럽게 이어 줘요. 앞쪽 비중을 높이면 화면이 아주 매끄러워지지만, 손을 빨리 움직였을 때 점이 뒤늦게 따라오는 느낌이 나요. 지금 자리 비중을 높이면 반응은 빠른 대신 떨림이 남아요.
정답은 쓰임에 따라 달라요. 그림을 그리는 기능은 매끄러운 쪽을, 손짓으로 화면을 넘기는 기능은 빠른 쪽을 골라요. 체험 도구에서 손을 갑자기 멈췄을 때 점이 조금 더 미끄러져 가는 느낌이 든다면 이 다듬기가 작동하고 있는 거예요.
3조금 더 정확하게
손 추적이 내놓는 값은 마디마다의 가로세로 자리와 확신 값이고, 손바닥이 앞을 향하는지 뒤를 향하는지, 왼손인지 오른손인지를 함께 내주는 도구도 많아요. 앞뒤 거리까지 짐작해 손을 입체로 다루는 도구도 있는데, 카메라 한 대로는 이 값이 특히 흔들려요.
정확도를 이야기할 때는 두 가지를 나눠 봐야 해요. 점 하나가 실제 마디에서 얼마나 벗어났는지, 그리고 손을 놓치지 않고 이어 가는 시간이 얼마나 긴지예요. 앞의 값이 좋아도 자주 끊기면 쓰기 어렵고, 반대도 마찬가지예요.
비유가 어긋나는 지점도 있어요. 손전등은 동그라미 하나만 옮기면 되지만, 손 추적은 마디 스물한 곳을 동시에 따라가면서 그 점들이 손에서 나올 수 있는 배치인지도 함께 지켜봐요. 또 손전등은 비춘 자리가 그대로 보이지만, 손 추적은 좁혀 둔 범위 안을 다시 계산해 자리를 새로 짐작해야 해요. 손은 갑자기 방향을 바꾸고 접히기까지 해서 그 짐작이 자주 빗나가요. 그래서 범위는 늘 넉넉하게 잡아 둬요.
4직접 해보기
5흔한 오해
7한 줄 요약
그러니까손 추적은 손 마디에 찍은 점을 매 장면 다시 찍어 이어 가는 일이고, 앞 장면을 기억하는 덕분에 가볍고 빠르게 돌아가요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02