과소적합Underfitting

연습한 것부터 못 맞혀요

과소적합의 특징은 연습 자료에서마저 성적이 나쁘다는 점이에요. 견본을 눈앞에 놓고 보면서 빚는데도 안 닮는 상황이에요.

이게 중요한 이유는 원인을 좁혀 주기 때문이에요. 연습 자료에서 이미 못 맞히면 자료를 더 모으거나 새 자료를 넣어 봐야 소용이 없어요. 문제는 자료 쪽이 아니라 만드는 쪽에 있으니까요.

반대편에 있는 과적합은 연습 자료에서는 거의 다 맞히는데 처음 보는 자료에서만 무너져요. 두 상태는 겉보기 증상이 아주 달라서, 어느 쪽인지만 알면 손댈 곳도 정해져요.

왜 생기나

첫째, 만들 수 있는 모양의 폭이 좁을 때예요. 손바닥 하나로 빚는 것과 손가락을 나눠 쓰는 것의 차이예요. 층이 얕거나 안쪽 자리가 너무 적으면 자료에 담긴 굴곡을 담아낼 방법이 없어요.

둘째, 충분히 오래 돌리지 않았을 때예요. 물레를 몇 바퀴 돌리다 만 것과 같아요. 이 경우는 시간이 해결해 주는 거라 원인 중에서는 가장 손쉬워요.

셋째, 넣어 준 재료가 부실할 때예요. 그릇 지름과 높이는 알려 줬는데 굽의 유무는 알려 주지 않았다면, 아무리 정교한 손을 가져도 굽이 있는 그릇과 없는 그릇을 갈라 빚을 수 없어요. 판단에 필요한 항목이 아예 빠져 있으면 모델을 키워도 나아지지 않아요.

또 한 가지, 흐트러짐을 막으려고 걸어 둔 장치를 너무 세게 잡아도 과소적합이 와요. 손을 떨지 말라고 팔을 꽁꽁 묶어 놓은 셈이라 필요한 움직임까지 막혀요.

손을 늘리면 달라져요

손가락을 나눠 쓰기 시작하면 갑자기 결과가 달라져요. 한 손가락은 안쪽 벽을 밀고 다른 손가락은 바깥을 받치면 굽이 생기고, 위쪽을 좁히면 목이 생겨요. 견본마다 다른 그릇이 나오기 시작해요.

모델도 같아요. 층을 더하고 안쪽 자리를 늘리면 담아낼 수 있는 굴곡이 늘어나요. 훈련 손실이 내려가기 시작하는 게 그 신호예요.

다만 여기서 멈추지 않고 계속 밀어붙이면 반대편으로 넘어가요. 견본 표면의 지문 자국과 흙 부스러기까지 그대로 옮겨 베끼는 상태가 과적합이에요. 알맞은 지점은 두 극단 사이 어딘가에 있어요.

어떻게 알아채나

학습이 도는 동안 훈련 점수와 검증 점수를 함께 그려 보면 바로 보여요. 두 선이 나란히 높은 자리에 멈춰 있고 더 내려가지 않으면 과소적합이에요. 훈련 선만 계속 내려가고 검증 선이 되돌아 올라가면 과적합이고요.

시작 단계에서는 일부러 과소적합에서 출발하는 게 요령이에요. 작은 모델로 먼저 돌려 보고 훈련 점수가 어디까지 내려가는지 확인한 뒤, 조금씩 키우며 검증 점수가 갈라지기 시작하는 지점을 찾아요. 처음부터 큰 모델로 시작하면 무엇 때문에 안 되는지 짚어 내기가 어려워요.