모드 붕괴Mode Collapse

검사가 낱개로만 이뤄져요

서로 겨루며 배우는 방식에서는 만드는 쪽과 가려내는 쪽이 짝을 이뤄요. 만드는 쪽은 진짜 같은 것을 내놓으려 하고, 가려내는 쪽은 진짜와 가짜를 갈라내려 해요. 이 겨루기가 팽팽할수록 결과가 좋아져요.

문제는 가려내는 쪽이 받아 보는 것이 한 번에 한 장이라는 데 있어요. "이 한 장이 진짜 같은가"에는 답할 수 있지만 "오늘 들어온 것들이 서로 다른가"에는 답할 수 없어요. 다양함은 애초에 채점표에 없는 항목이에요.

그러니 만드는 쪽에는 다양하게 만들 이유가 없어요. 점수를 가장 잘 받는 하나를 찾았다면 그 하나를 계속 내놓는 것이 가장 이득이에요. 게으름이 아니라 채점표가 그렇게 시킨 결과예요.

쫓고 쫓기다 한 자리에 갇혀요

가려내는 쪽도 가만있지는 않아요. 같은 것만 계속 들어오면 그 하나를 가짜로 찍어 내는 법을 배워요. 그러면 만드는 쪽은 다른 한 가지로 옮겨 가고, 가려내는 쪽이 또 따라잡으면 다시 옮겨 가요.

이 술래잡기가 넓게 퍼지면서 돌면 괜찮은데, 좁은 자리 몇 개를 뱅뱅 도는 경우가 생겨요. 다양해지는 게 아니라 한 가지에서 다른 한 가지로 통째로 갈아타는 거예요. 뽑아 놓고 보면 어제는 전부 이것, 오늘은 전부 저것인 식이에요.

숫자로는 티가 안 나요

학습이 잘못되면 보통 손실 값이 치솟거나 요동쳐서 금방 눈에 띄어요. 모드 붕괴는 그렇지 않아요. 양쪽 점수가 그럴듯한 자리에 머물러 있어서 표만 봐서는 아무 문제가 없어 보여요.

그래서 이 문제는 눈으로 찾아야 해요. 뽑은 결과 수십 장을 한 화면에 늘어놓으면 대번에 보여요. 자세도 색도 구도도 서로 닮아 있고, 넣는 값을 크게 바꿔도 나오는 것이 별로 달라지지 않아요. 학습 도중에 결과 묶음을 주기적으로 뽑아 보는 습관이 가장 확실한 점검이에요.

완전 붕괴보다 부분 붕괴가 흔해요

한 가지로 완전히 쪼그라드는 극단은 실제로는 드물어요. 더 자주 만나는 것은 원래 자료에 열 가지 유형이 있었는데 결과에는 서너 가지만 나오는 상태예요. 겉보기에는 그럴듯해서 넘어가기 쉽고, 나중에 특정 종류가 통째로 빠져 있다는 걸 알게 돼요.

빠지는 쪽은 대개 자료에서 드물었던 것들이에요. 흔한 것만 잘 만들어도 점수가 나오니 드문 것을 굳이 배울 이유가 없어요. 그래서 모드 붕괴는 결과에서 소수 유형을 지워 버리는 방향으로 작동하고, 편향 문제와도 이어져요.

무엇을 손보나

가장 곧은 대책은 채점표를 고치는 거예요. 가려내는 쪽에 한 묶음을 통째로 보여 주고, 그 안의 것들이 서로 얼마나 닮았는지를 함께 알려 줘요. 다 비슷하면 감점이 되니 만드는 쪽에 다양하게 만들 이유가 생겨요.

겨루기의 균형을 맞추는 방법도 있어요. 한쪽이 너무 빨리 강해지지 않도록 학습 속도를 다르게 주거나, 점수를 매기는 방식 자체를 완만하게 바꿔서 한 점에 몰리지 않게 해요. 만드는 쪽을 여럿 두고 각자 다른 영역을 맡게 하는 방법도 쓰여요.

방식 자체를 바꾸는 선택도 있어요. 흐릿한 얼룩에서 조금씩 형태를 찾아가는 방식은 자료 전체를 고르게 흉내 내도록 배우기 때문에 이 문제를 훨씬 덜 겪어요. 다양함이 중요한 작업에서 이 방식이 널리 쓰이는 이유 가운데 하나예요.