동작 인식Action Recognition

한 장으로는 알 수 없어요

사진 분류와 동작 인식이 갈리는 지점이 여기예요. 사진 한 장으로도 "제기"라는 물건은 알아볼 수 있어요. 하지만 "찬다"는 물건이 아니라 시간에 걸쳐 일어나는 변화라서, 한 장 안에 들어가지 않아요.

앉는 동작과 일어서는 동작을 생각해 보면 분명해져요. 중간 순간을 잘라 낸 사진은 두 동작에서 완전히 똑같아요. 무릎이 굽은 각도만 봐서는 어느 쪽인지 절대 알 수 없고, 앞 장면이 서 있었는지 앉아 있었는지를 봐야만 갈려요.

그래서 동작 인식은 언제나 여러 장을 한 덩어리로 받아요. 보통 1초에서 3초 남짓, 장면 수로는 수십 장을 한 번에 밀어 넣어요.

여러 장을 어떻게 묶어 보나요

크게 두 갈래 방식을 써요. 하나는 영상을 그대로 받아서 가로·세로에 더해 시간까지 한 축으로 놓고 무늬를 찾는 방식이에요. 옷 색이나 물건 모양처럼 화면에 보이는 정보를 전부 쓸 수 있어서 세밀하지만, 계산이 무거워요.

다른 하나는 먼저 관절 위치를 뽑아 점의 자리 기록으로 바꾼 다음, 그 숫자의 흐름만 보고 판단하는 방식이에요. 옷과 배경이 사라져서 훨씬 가볍고, 조명이나 옷 색이 바뀌어도 흔들리지 않아요. 대신 손에 무엇을 들었는지 같은 정보는 통째로 버려요.

두 방식을 함께 쓰기도 해요. 화면 전체를 보는 쪽으로 큰 흐름을 잡고, 관절 흐름으로 세부를 확인하는 식이에요.

어디까지가 한 번인지 끊어야 해요

미리 잘라 놓은 3초짜리 영상에 이름을 붙이는 일은 비교적 쉬워요. 진짜 어려운 쪽은 몇 분짜리 영상을 그대로 주고 "여기서부터 여기까지가 한 번"이라고 표시하게 만드는 일이에요.

동작의 시작과 끝은 사람들 사이에서도 잘 안 맞아요. 제기를 차기 위해 발을 드는 준비 동작이 한 번에 들어가는지 아닌지부터 갈리죠. 정답 자료를 만드는 사람마다 경계를 다르게 잡으면 모델도 흐릿하게 배워요.

그래서 횟수를 세는 기능은 생각보다 자주 틀려요. 한 번을 두 번으로 세거나, 빠르게 이어지는 두 번을 한 번으로 뭉치는 일이 흔해요.

배경이라는 지름길

수영 동작을 배우게 하려고 수영장 영상만 모아서 가르치면, 모델은 물빛만 보고 "수영"이라고 답하는 요령을 익혀요. 사람이 물가에 가만히 서 있어도 수영으로 나오는 거예요. 시험 성적은 좋은데 실제로는 못 쓰는 상태가 돼요.

이 지름길은 정답 자료가 한쪽으로 쏠려 있을 때 생겨요. 같은 동작을 여러 장소에서 찍어 넣거나, 배경을 지우고 관절 흐름만 남겨서 가르치면 줄어들어요. 무엇을 보고 맞혔는지 확인해 보는 일이 그래서 중요해요.

같은 동작인데 사람마다 달라요

제기를 차는 모습은 사람마다, 그날 컨디션마다 달라요. 발 높이도 리듬도 다르고 왼발잡이와 오른발잡이가 좌우로 뒤집혀 있어요. 카메라가 옆에서 찍었는지 앞에서 찍었는지에 따라 화면 속 움직임의 방향도 완전히 달라져요.

그래서 한 동작을 여러 사람, 여러 각도, 여러 속도로 모아 가르쳐요. 영상을 좌우로 뒤집거나 조금 빠르게 돌린 사본을 함께 넣기도 해요. 이렇게 넓게 보여 줘야 처음 보는 사람의 동작에도 같은 이름을 붙일 수 있어요.