클래스 불균형Class Imbalance

왜 점수가 높게 나올까요

맞힌 비율은 전체를 분모로 놓고 세요. 나사가 아흔여덟이고 볼트가 둘이라면 분모의 거의 전부가 나사예요. 나사만 다 맞혀도 점수는 아주 높아지고, 볼트를 놓친 손해는 분모 안에서 거의 티가 나지 않아요.

현실에서 다루는 문제일수록 이 치우침이 심해요. 카드 도용은 거래 만 건 가운데 몇 건이고, 기계 고장은 가동 시간의 아주 짧은 순간이며, 드문 병은 검사받은 사람 대부분이 아니라는 결과를 받아요. 찾아야 할 쪽이 드물다는 것이 문제의 본질인 경우가 많아요.

학습도 게으른 쪽으로 기울어요

사람만 게으른 게 아니에요. 학습은 벌점을 가장 빨리 줄이는 방향으로 움직이는데, 적은 쪽을 전부 포기하는 것이 그 지름길일 때가 많아요. 볼트 하나를 집어내려고 애쓰다 나사 몇 개를 볼트라고 잘못 부르면 벌점이 오히려 늘거든요.

그래서 불균형한 자료로 학습한 모델은 겉보기에 잘 배운 것 같지만 적은 쪽 앞에서 얼어붙어요. 무엇을 넣어도 많은 쪽 이름만 부르는 상태가 되고, 이런 모델은 배운 게 아니라 한쪽으로 굳은 거예요.

맞힌 비율 말고 무엇을 보나요

찾아야 할 쪽만 따로 떼어 두 가지를 봐요. 하나는 볼트라고 집어낸 것들 가운데 정말 볼트인 것의 비율이고, 다른 하나는 통 안에 있던 볼트 가운데 몇 개를 찾아냈는지예요. 앞의 것이 정밀도, 뒤의 것이 재현율이에요.

"전부 나사"라고 답한 게으른 방법은 이 두 값이 모두 바닥이에요. 집어낸 것이 없으니 앞의 값이 없고, 찾아낸 것이 없으니 뒤의 값이 영이에요. 맞힌 비율 하나로는 보이지 않던 실패가 곧바로 드러나요.

두 값은 서로 밀고 당겨요. 조금이라도 굵어 보이면 다 볼트라고 집어내면 찾는 비율은 올라가지만 멀쩡한 나사를 잔뜩 걸러 내게 돼요. 그래서 둘을 함께 묶어 하나의 점수로 보거나, 어느 쪽 실수가 더 아픈지 정해 두고 저울질해요.

치우침을 줄이는 방법

자료 쪽에서 손볼 수 있어요. 적은 쪽 자료를 더 모으는 것이 가장 좋고, 그게 어려우면 가지고 있는 적은 쪽 자료를 조금씩 변형해 늘려요. 반대로 많은 쪽에서 일부만 골라 써서 개수를 맞추기도 하는데, 이 방법은 나사들이 가진 정보를 버리는 셈이라 자료가 넉넉할 때만 써요.

학습 쪽에서도 손볼 수 있어요. 적은 쪽을 틀렸을 때 벌점을 몇 배로 매기면, 학습은 적은 쪽을 포기하는 지름길을 더 이상 쓰지 못해요. 마지막에 "이 정도면 볼트로 보자"는 문턱을 낮춰 잡는 방법도 있어요. 이 방법은 학습을 다시 하지 않고 결과만 조정하기 때문에 손이 가장 덜 가요.