모방 학습Imitation Learning

맛을 보지 않고 손을 옮겨요

시행착오로 배우는 방식은 행동을 해 보고 점수를 받아 고쳐요. 김치라면 담가서 익힌 뒤 맛을 보고 다음 해에 소금 양을 고치는 셈이에요. 한 바퀴가 오래 걸리고 실패한 김치도 감수해야 해요.

모방 학습은 이 순서를 건너뛰어요. 시범을 잔뜩 모아 "배추가 이 상태일 때 손은 이렇게 움직였다"를 짝으로 만들고, 같은 상황에서 같은 행동이 나오도록 맞춰요. 문제의 겉모습은 사진에 이름표를 붙여 배우는 방식과 거의 같아요. 사진 자리에 상황이, 이름표 자리에 시범자의 행동이 들어가 있을 뿐이에요.

그래서 실패 비용이 큰 일에 잘 맞아요. 자동차를 수천 번 부딪히며 배우게 할 수는 없지만, 사람이 운전한 기록을 모으는 일은 할 수 있으니까요. 무엇을 잘한 것으로 칠지 점수 기준을 세우기 어려운 일에서도 쓸모가 있어요. 좋은 김치의 조건을 숫자로 적기는 어려워도 잘 담그는 손은 보여 줄 수 있잖아요.

시범에 없던 배추를 만나면

약점은 낯선 상황에서 드러나요. 시범에 나온 배추는 모두 알맞게 절여진 것뿐이었다고 해 봐요. 어쩌다 덜 절여진 배추가 나오면 따라 하던 사람은 손을 어떻게 놀려야 할지 몰라요. 본 적 없는 상황이거든요.

더 곤란한 건 어긋남이 쌓인다는 점이에요. 첫 켜를 어설프게 발라 놓으면 다음 켜는 시범에서 본 어느 장면과도 닮지 않은 모양이 돼요. 그러면 더 엉뚱한 손이 나오고, 그다음은 더 낯설어져요. 처음의 작은 어긋남이 굴러가며 커져요.

어긋난 자리를 자료로 채워요

해결의 방향은 단순해요. 어긋난 상황도 시범에 넣는 거예요. 따라 하던 사람이 스스로 해 보게 두고, 손이 이상해지는 순간마다 옆에서 "이럴 땐 이렇게" 하고 보여 줘요. 그 장면들을 자료에 보태 다시 배우면 낯선 자리가 줄어들어요.

일부러 어긋난 상황을 만들어 시범을 보이는 방법도 써요. 덜 절여진 배추, 너무 짠 속, 찢어진 잎을 일부러 놓고 되살리는 손을 보여 주는 거예요. 잘된 장면만 모은 자료보다 되돌리는 장면이 섞인 자료가 훨씬 튼튼해요.

시범자를 넘어서려면

모방만으로는 시범자보다 잘하기 어려워요. 잘하는 손도 따라 하지만 버릇과 실수도 같이 따라 하거든요. 시범이 여러 사람에게서 나온 경우에는 서로 다른 방식이 섞여 어정쩡한 중간이 나오기도 해요.

그래서 실무에서는 두 단계로 가요. 먼저 모방으로 쓸 만한 수준까지 빠르게 올린 다음, 그 상태에서 시행착오와 점수를 붙여 다듬어요. 맨땅에서 시행착오를 시작하면 한참을 헤매지만, 어느 정도 하는 손에서 출발하면 고치는 일만 남으니까요. 시범에서 행동 자체가 아니라 그 사람이 무엇을 중요하게 여겼는지를 되짚어 점수 기준으로 삼는 방법도 있어요.