보정Calibration
말한 확률과 실제로 맞은 비율을 맞추기
- 보정은 모델이 말한 확률과 실제로 맞은 비율을 나란히 맞추는 일이에요.
- 재는 방법이 정해져 있어요. 같은 숫자를 말한 것들끼리 모아 그중 실제로 몇이 맞았는지를 세요.
- 많이 맞히는 것과 제대로 말하는 것은 다른 일이에요. 잘 맞히면서도 늘 부풀려 말하는 모델이 있어요.
- 요즘 모델은 대체로 자신만만한 쪽으로 치우쳐요. 말한 숫자가 실제보다 높게 나와요.
- 고치는 방법은 모델을 다시 만드는 게 아니라 밖에서 눈금을 옮겨 붙이는 쪽이에요.
목차
1비유로 이해하기
집에 있는 온도계가 오늘 25도라고 알려 줘요. 이 숫자를 믿어도 될까요. 확인하는 방법은 하루치를 보는 게 아니에요. 이 온도계가 25도라고 말했던 날들을 몇 달치 모아 놓고, 그날들의 실제 온도를 따로 재 보는 거예요.
모아 보니 그날들의 실제 온도가 평균 30도였다면 이 온도계는 늘 낮게 말하는 버릇이 있어요. 반대로 평균 25도에 가깝게 나왔다면 이 온도계는 말한 대로 알려 주는 온도계예요. 잘 맞는 온도계인지 아닌지는 하루 숫자가 아니라 같은 숫자를 말했던 날들을 모아야 알 수 있어요.
보정은 이 버릇을 찾아내 눈금을 옮겨 붙이는 일이에요. AI가 내놓는 확률에도 똑같이 해요. 80이라고 말한 것들을 모아 그중 정말 여든이 맞았는지 세어 보는 거예요.
2자세히 알아보기
같은 숫자를 말한 것들끼리 모아 봐요
한 건만 보면 아무것도 알 수 없어요. 모델이 80이라고 말한 답 하나가 틀렸다고 해서 그 80이 잘못된 숫자는 아니에요. 열 번에 두 번은 틀리라고 말한 숫자니까요.
그래서 여러 건을 모아요. 모델이 내놓은 확률을 비슷한 값끼리 묶어 놓고, 묶음마다 실제로 맞은 비율을 세요. 60이라고 말한 묶음에서는 열에 여섯이, 90이라고 말한 묶음에서는 열에 아홉이 맞아야 눈금이 잘 맞는 거예요.
이렇게 묶음마다 말한 값과 맞은 비율을 견주면 어느 구간에서 어긋나는지가 보여요. 낮은 쪽에서는 잘 맞는데 높은 쪽에서만 부풀리는 모델도 있고, 어느 구간에서나 고르게 부풀리는 모델도 있어요. 어긋난 정도를 묶음마다 재서 평균을 내면 하나의 숫자로도 볼 수 있어요.
자신만만한 쪽으로 치우치는 버릇
요즘 쓰는 큰 모델들은 대체로 실제보다 높게 말해요. 90이라고 말한 것들을 모아 보면 실제로는 일고여덟만 맞는 식이에요. 학습이 정답을 최대한 확실하게 맞히는 쪽으로 흘러가다 보니, 말끝이 점점 단단해지는 거예요.
말로 답하는 모델은 이 치우침이 더 눈에 띄어요. 틀린 내용을 맞는 내용과 똑같은 어조로 말하니까요. 확실하다는 말투가 실제 맞을 가능성과 이어져 있지 않으면, 듣는 사람은 어디서 멈춰 확인해야 할지 알 수 없어요.
반대 방향으로 치우치는 경우도 있어요. 지나치게 조심스러워 늘 낮게 말하면, 맞는 답도 못 미더워 보여서 그 답을 그냥 지나치게 돼요. 어느 쪽이든 숫자를 그대로 믿을 수 없다는 점은 같아요.
눈금을 옮겨 붙이는 일
고치는 방법은 대체로 모델 밖에서 이뤄져요. 온도계를 새로 사는 게 아니라 눈금판을 옮겨 붙이는 쪽이에요. 손대지 않고 빼 둔 자료로 말한 값과 실제 비율을 견주고, 그 어긋남을 되돌리는 변환을 하나 얹어요.
가장 단순한 방식은 모델이 내놓는 값 전체를 한 손잡이로 눅이거나 세우는 거예요. 확률을 만들기 직전 단계의 값을 하나의 조절 값으로 나눠서, 전체적으로 덜 단단하게 말하도록 만들어요. 구간마다 어긋남이 다르면 구간별로 눈금을 다시 매기는 방식을 쓰기도 해요.
중요한 건 이 작업에 쓰는 자료예요. 학습에 썼던 자료로 눈금을 맞추면 이미 외운 답이라 실제보다 잘 맞는 것처럼 나와요. 눈금 맞추기에도 손대지 않은 자료가 따로 필요해요.
잘 맞히는 것과 제대로 말하는 것은 달라요
두 모델이 똑같이 열에 아홉을 맞힌다고 해 볼게요. 한쪽은 늘 99라고 말하고 다른 쪽은 90 언저리로 말해요. 맞히는 실력은 같지만 뒤쪽 모델만 눈금이 맞아요. 앞쪽 모델의 숫자를 믿고 사람 확인을 건너뛰면 놓치는 게 생겨요.
거꾸로 눈금만 잘 맞고 실력은 형편없는 경우도 있어요. 무엇을 물어도 반반이라고 말하는 모델은 실제로도 반쯤 맞을 테니 눈금은 맞는 셈이지만, 아무 쓸모가 없어요. 그래서 맞히는 실력과 눈금은 늘 함께 봐요.
눈금이 중요해지는 자리는 정해져 있어요. 확률을 보고 사람이 개입할지 말지를 정하는 곳, 여러 모델의 판단을 확률로 합치는 곳, 확률에 값을 곱해 손익을 따지는 곳이에요. 이런 자리에서는 숫자가 조금만 부풀어도 결정이 통째로 어긋나요.
3조금 더 정확하게
보정은 모델이 내놓는 확률값이 실제 빈도와 일치하도록 만드는 일이에요. 확률을 구간으로 나눠 구간마다 말한 평균값과 실제 맞은 비율의 차이를 재고, 그 차이를 구간 크기로 가중해 평균 낸 값을 어긋남의 크기로 삼는 방식이 널리 쓰여요. 이 값이 작을수록 눈금이 잘 맞는다고 봐요. 확률을 만드는 마지막 단계의 값을 하나의 값으로 나눠 전체를 눅이는 방식이 가장 간단하고, 구간별로 단조로운 대응표를 만들어 다시 매기는 방식도 있어요.
비유가 어긋나는 지점도 있어요. 온도계는 실제 온도라는 견줄 대상이 언제나 있지만, 모델의 확률에는 견줄 대상이 하나하나로는 존재하지 않아요. 이 답이 맞을 확률 80이라는 말은 그 한 건에 대해서는 확인할 방법이 없고, 여러 건을 모았을 때만 뜻이 생겨요. 그래서 보정은 언제나 무리 단위의 성질이지 한 건의 성질이 아니에요.
전체 눈금이 맞는다고 모든 곳에서 맞는 것도 아니에요. 자료를 무리별로 나눠 보면 어떤 무리에서는 부풀고 어떤 무리에서는 낮게 나오는데, 둘이 상쇄되어 전체로는 맞아 보일 수 있어요. 무리별로 따로 재 보는 일이 함께 필요한 이유예요.
4직접 해보기
5흔한 오해
확률이 높으면 그만큼 믿을 만하다고 생각하기 쉽지만, 실제로는 눈금이 맞춰져 있지 않으면 90이라는 숫자가 열에 아홉을 뜻하지 않아요.
잘 맞히는 모델은 눈금도 잘 맞는다고 여기기 쉽지만, 실제로는 맞히는 실력과 말하는 눈금은 따로 놀아서 둘을 각각 재야 해요.
보정하려면 모델을 다시 학습시켜야 한다고 생각하기 쉽지만, 실제로는 손대지 않은 자료로 밖에서 눈금만 옮겨 붙이는 것으로 대부분 해결돼요.
7한 줄 요약
그러니까보정은 80이라고 말한 것들을 모아 정말 여든이 맞았는지 세어 보고 어긋난 눈금을 옮겨 붙이는 일이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02