준지도학습Semi-Supervised Learning

답 붙이기가 감당이 안 될 때

준지도학습이 나온 이유는 단순해요. 답을 붙이는 일이 너무 비싸거든요. 정육점 사장님이 수백 덩이에 일일이 이름표를 달려면 하루가 꼬박 걸려요. 의료 사진에 판독 결과를 다는 일이나 녹취록에 화자를 표시하는 일은 전문가가 붙어야 해서 더해요.

반대로 답이 없는 자료는 넘쳐요. 냉장고에 들어오는 고기는 계속 늘어나요. 답 붙은 몇 개를 쓰면서 답 없는 더미까지 함께 쓸 수 있다면, 같은 돈으로 훨씬 나은 결과를 얻을 수 있어요.

확실한 것부터 임시 이름표를 달아요

가장 널리 쓰이는 방식은 이래요. 먼저 답 붙은 적은 자료만으로 대강의 기준을 잡아요. 이 기준으로 답 없는 자료를 훑으면서, 확신이 높게 나온 것에만 임시 답을 붙여요. 아리송한 것은 그대로 남겨 둬요.

임시 답이 달린 자료를 원래 자료에 더해 다시 기준을 잡아요. 자료가 늘었으니 기준이 조금 더 촘촘해지고, 촘촘해진 기준으로 다시 훑으면 아까 아리송했던 것 중 몇 개가 확실해져요. 이 일을 몇 바퀴 돌려요.

핵심은 확신이 높은 것만 골라 쓴다는 데 있어요. 애매한 것까지 욕심내면 틀린 답이 섞여 들어와요.

답 없는 자료가 경계를 밀어 줘요

답이 없는 덩이도 아무 말을 안 하는 건 아니에요. 그 덩이가 어디쯤 놓이는지가 정보예요. 고기 더미가 두 무늬 쪽으로 뚜렷하게 몰려 있고 그 사이가 텅 비어 있다면, 부위를 가르는 선은 그 빈 곳을 지나야 자연스러워요.

답 붙은 열 덩이만 볼 때는 선을 어디에 그어도 열 덩이는 다 맞아요. 여기에 답 없는 수백 덩이를 얹으면 그중 대부분의 선이 어색해져요. 자료가 몰려 있는 한복판을 가르게 되니까요. 답 없는 자료는 정답을 말해 주는 대신 그을 수 있는 선의 후보를 줄여 줘요.

이 이야기는 자료가 실제로 무리 지어 있을 때만 통해요. 부위마다 무늬가 겹치고 경계가 흐릿하면 답 없는 자료를 아무리 얹어도 도움이 안 돼요.

잘못 번지면 걷잡을 수 없어요

이 방식의 약점은 실수가 스스로를 굳힌다는 점이에요. 처음 기준이 앞다리와 목살을 헷갈렸다고 해 볼게요. 목살 덩이에 앞다리라는 임시 이름표가 달리고, 그게 자료에 더해지면 다음 기준은 그 실수를 더 확신하게 돼요. 바로잡아 줄 사람이 없으니 실수가 굳어져요.

그래서 처음 답 붙은 자료의 품질이 유난히 중요해요. 열 덩이 중 한 덩이라도 이름표가 잘못 붙어 있으면 그 오류가 수백 덩이로 번져요. 임시 답을 붙이는 문턱을 높게 잡고, 몇 바퀴마다 사람이 표본을 뽑아 확인하는 장치를 함께 두는 이유예요.

언제 쓸 만한가

세 조건이 맞을 때 효과가 커요. 답 붙은 자료가 적고, 답 없는 자료가 그보다 훨씬 많고, 두 자료가 같은 곳에서 나왔을 때예요. 냉장고 고기와 이름표 붙은 고기가 같은 날 같은 곳에서 들어온 것이어야 한다는 뜻이에요.

답 없는 자료가 다른 데서 흘러 들어왔다면 오히려 방해가 돼요. 요즘은 답 없는 자료가 아주 많을 때 자기지도학습으로 먼저 감각을 쌓고 적은 답으로 마무리하는 쪽을 택하는 경우가 많아요. 준지도학습은 그만한 규모가 안 되는 현장에서 여전히 실용적인 선택이에요.