손실 함수Loss Function

어긋남을 숫자 하나로 모아요

모델이 답을 하나 내놓으면 정답과 견줘요. 이때 나오는 차이는 여러 갈래일 수 있어요. 값이 높게 나왔는지 낮게 나왔는지, 어느 항목에서 어긋났는지 제각각이죠. 손실 함수는 이 모든 어긋남을 정해진 규칙으로 합쳐 숫자 하나로 만들어요.

숫자 하나여야 하는 이유가 있어요. 두 판을 견줘 어느 쪽이 나은지 정하려면 견줄 수 있는 값이 하나뿐이어야 하거든요. 겉색은 이쪽이 낫고 속은 저쪽이 나은 상태로는 다음에 무엇을 바꿀지 정할 수가 없어요.

자료 하나마다 나온 벌점을 한 묶음 전체에 대해 평균 내서 쓰는 것도 같은 이유예요. 오늘 구운 판 전체의 성적이 하나로 나와야 다음 판을 정할 수 있어요.

벌점표가 결과를 정해요

같은 빵이라도 채점표가 다르면 점수가 달라져요. 어긋난 정도를 그대로 더하는 표가 있고, 어긋난 정도를 곱해서 더하는 표가 있어요. 곱해서 더하면 조금 어긋난 것은 거의 안 세어지고 크게 어긋난 것만 확 눈에 띄어요. 아주 새까맣게 탄 빵 한 개가 다른 아홉 개를 덮어 버려요.

그래서 표를 고르는 일은 취향이 아니라 방침이에요. 크게 어긋나는 일을 무슨 수를 써서라도 막아야 하는 자리라면 곱해서 더하는 쪽이 맞아요. 이따금 나오는 별난 자료에 휘둘리고 싶지 않다면 그대로 더하는 쪽이 나아요.

빵집으로 보면 손님이 가장 싫어하는 게 무엇이냐에 따라 표가 달라지는 거예요. 탄 빵에 크게 화를 내는 동네라면 탄 것에 벌점을 몰아 주고, 그러면 오븐은 조금 덜 익히는 쪽으로 기울어요.

재는 일과 줄이는 일은 달라요

손실 함수가 하는 일은 재는 데서 끝나요. 12점이라고 알려 줄 뿐, 온도를 어느 쪽으로 돌리라고 말하지는 않아요. 어느 방향으로 얼마나 움직일지 정하는 건 다음 단계의 몫이에요.

그래서 채점표에는 조건이 하나 붙어요. 조금 바꿨을 때 점수가 조금 달라져야 해요. 온도를 1도 올렸는데 점수가 뚝 끊기듯 바뀌면 어느 쪽으로 돌려야 할지 알 수 없거든요. 손실 함수를 매끄러운 규칙으로 짜는 이유예요. 맞은 개수를 세는 방식은 사람이 보기엔 좋지만 조금 바꿔도 개수가 안 변해서 학습에는 못 써요.

무엇을 맞히느냐에 따라 표가 달라요

답이 숫자면 차이를 그대로 재요. 부풀기가 몇 밀리미터 모자랐는지 같은 방식이에요. 회귀에서 쓰는 표가 이쪽이에요.

답이 이름표면 방식이 달라요. 맞았다 틀렸다가 아니라 얼마나 확신했는지를 봐요. 정답인 칸에 얼마나 무게를 실었는지 재서, 확신 있게 틀렸을 때 가장 큰 벌점을 매겨요. 어물쩍 틀린 것보다 자신만만하게 틀린 쪽이 더 아픈 셈이에요. 이렇게 해야 모델이 맞히기만 하는 게 아니라 확신의 정도까지 다듬어요.

낮은 손실이 좋은 결과는 아니에요

채점표는 사람이 만든 대리물이에요. 진짜 바라는 건 손님이 맛있다고 하는 빵인데, 잴 수 있는 건 겉색과 부풀기뿐이에요. 그래서 점수는 좋은데 맛은 그저 그런 일이 생겨요.

모델도 같아요. 손실이 눈에 띄게 낮아졌는데 실제로 써 보면 이상한 경우가 흔해요. 연습 자료의 벌점만 낮추느라 처음 보는 자료에서 무너지기도 하고, 채점표에 안 들어간 성질을 통째로 무시하기도 해요. 그래서 학습에 쓰는 손실과 사람이 보는 평가 지표를 따로 두고 함께 봐요.