평가 지표Evaluation Metric
무엇으로 잘한다고 할지 정해 둔 잣대
- 평가 지표는 무엇을 재서 잘한다고 말할지 미리 정해 둔 잣대예요. 잣대를 고르는 일이 재는 일보다 먼저예요.
- 같은 대상이라도 어느 지표로 보느냐에 따라 순위가 뒤집혀요. 잘한다는 말에는 늘 괄호가 붙어 있어요.
- 지표 하나만 보면 그 하나만 잘하도록 길들여져요. 항목을 여럿 두고 함께 보는 이유예요.
- 어떤 지표를 고르느냐가 무엇을 고칠지까지 정해요. 재지 않는 것은 고쳐지지 않아요.
- 숫자로 잡기 쉬운 것과 정말 바라는 것은 다를 때가 많아요. 그 틈을 아는 채로 숫자를 읽어야 해요.
목차
1비유로 이해하기
자동차 정기검사장에 차를 넣으면 검사원이 이 차가 좋은 차인지 답해 주지는 않아요. 대신 항목이 적힌 표를 꺼내요. 제동력이 얼마나 나오는지, 배기가스 수치가 기준 안에 드는지, 전조등이 규정 밝기를 넘는지, 하부에 부식이 있는지를 항목마다 따로 재요.
그래서 검사표를 받아 들면 좋다는 말 대신 항목별 숫자가 손에 남아요. 브레이크가 잘 듣는 차와 매연이 적은 차는 다른 차일 수 있어요. 어느 칸을 먼저 보느냐에 따라 같은 차가 잘 만든 차가 되기도 하고 손봐야 할 차가 되기도 해요.
평가 지표는 이 검사표의 한 칸이에요. AI가 잘한다는 말도 그 자체로는 뜻이 없고, 어느 칸을 재기로 했는지를 함께 말해야 뜻이 생겨요.
2자세히 알아보기
잣대를 고르는 일이 먼저예요
검사소는 차를 올려놓기 전에 오늘 무엇을 잴지부터 정해요. 재는 항목이 정해져야 장비를 걸고 기준선을 그을 수 있으니까요. AI를 만들 때도 순서가 같아요. 학습을 시작하기 전에 무엇을 재서 잘됐다고 할지 먼저 정해 두어야 해요.
이 순서를 건너뛰면 곤란해져요. 다 만들어 놓고 나서 지표를 고르면, 성적이 잘 나오는 지표를 고르고 싶은 마음이 생겨요. 같은 결과를 놓고 지표만 바꿔 가며 보기 좋은 숫자를 찾는 일은 재는 게 아니라 고르는 일이에요.
정해 둔 지표는 만드는 내내 방향을 잡아 줘요. 어느 쪽으로 고쳐야 좋아지는지가 지표에 적혀 있으니, 지표가 곧 목표가 돼요.
항목마다 잘한다는 말이 달라져요
두 대의 차를 견줘 볼게요. 한 대는 제동력이 뛰어난데 매연이 많고, 다른 한 대는 매연이 적은데 제동력이 아슬아슬해요. 어느 차가 좋은 차인지는 답이 없어요. 밤길을 많이 달린다면 전조등 항목이, 어린이 보호구역을 자주 지난다면 제동력 항목이 먼저예요.
AI도 그래요. 놓치면 큰일 나는 것을 찾아내는 일과 잘못 짚어 헛걸음하지 않는 일은 서로 다른 항목이고, 한쪽을 올리면 다른 쪽이 내려가기도 해요. 가장 많이 쓰이는 정확도, 정밀도와 재현율이 각각 따로 다뤄지는 것도 서로 다른 것을 재는 잣대이기 때문이에요.
그래서 순위표를 볼 때는 어떤 지표로 줄을 세웠는지를 먼저 봐야 해요. 지표를 바꾸면 1등과 3등이 자리를 바꾸는 일이 드물지 않아요.
항목 하나만 보면 길들여져요
검사소가 배기가스 하나만 본다면, 차 만드는 쪽은 그 검사 상황에서만 매연이 적게 나오도록 맞출 수 있어요. 검사는 통과하지만 실제 도로에서는 달라져요. 잣대를 하나만 두면 그 잣대에 맞추는 일이 목표를 대신하게 돼요.
AI를 만들 때도 같은 일이 벌어져요. 한 숫자만 올리라고 하면 그 숫자만 오르는 방향으로 학습이 흘러가요. 답을 짧게 쓰면 점수가 오르는 지표라면 답이 계속 짧아지고, 자주 나오는 쪽을 찍기만 해도 점수가 오르는 지표라면 늘 그쪽만 찍게 돼요.
그래서 실제로는 항목을 여럿 두고 함께 봐요. 주된 지표 하나를 정해 방향을 잡되, 그 지표가 망가뜨릴 만한 것들을 지키는 항목을 옆에 나란히 두는 방식이에요.
재지 않는 것은 고쳐지지 않아요
검사표에 없는 항목은 아무도 손보지 않아요. 시트가 헐거워도 항목에 없으면 검사장에서는 아무 일도 일어나지 않아요. 지표도 똑같아요. 재는 항목만 좋아지고, 재지 않는 것은 조용히 나빠져도 드러나지 않아요.
그래서 지표를 고를 때는 재기 쉬운 것 말고 정말 바라는 것에서 출발해야 해요. 답이 도움이 되었는지, 쓰는 사람이 다시 찾았는지 같은 것은 숫자로 잡기 어렵지만 진짜 목적에 가까워요. 잡기 쉬운 숫자로 대신할 때는 그 숫자가 목적의 대역일 뿐이라는 걸 잊지 않아야 해요.
지표는 한번 정하면 끝나는 것도 아니에요. 쓰는 사람과 상황이 바뀌면 검사 항목도 손봐야 해요.
3조금 더 정확하게
평가 지표는 모델의 출력과 정답을 견줘 하나의 숫자로 요약하는 규칙이에요. 하는 일에 따라 쓰는 지표가 달라져요. 갈래를 나누는 일에는 맞힌 비율 계열의 지표를, 숫자를 맞히는 일에는 틀린 폭을 재는 지표를, 글을 만들어 내는 일에는 사람이 매긴 점수나 다른 모델이 매긴 점수를 쓰기도 해요. 지표를 재는 자료가 학습에 쓰인 자료와 섞여 있으면 숫자가 부풀려지기 때문에, 손대지 않은 자료로만 재는 것이 원칙이에요.
비유가 어긋나는 지점도 있어요. 자동차 검사에는 나라가 정한 합격선이 있지만 AI 지표에는 그런 절대 기준이 없어요. 같은 지표로 잰 숫자도 어떤 자료로 쟀느냐에 따라 크게 달라져서, 다른 자료에서 나온 숫자끼리는 곧바로 견줄 수 없어요. 숫자 하나가 아니라 어느 자료에서 어떤 조건으로 쟀는지까지 함께 적어 두어야 견줄 수 있는 숫자가 돼요.
지표와 손실 함수도 구별해 두면 좋아요. 학습을 이끄는 벌점과, 다 만든 뒤 사람이 읽는 성적표는 서로 다른 숫자예요. 둘이 같은 방향을 가리키지 않을 때도 있어서, 벌점이 줄었는데 성적표는 그대로인 일이 생겨요.
4직접 해보기
5흔한 오해
지표 점수가 높으면 좋은 모델이다라고 생각하기 쉽지만, 실제로는 어떤 항목을 어떤 자료에서 쟀는지에 따라 같은 모델의 점수가 크게 달라져요.
지표는 결과를 재기만 한다고 여기기 쉽지만, 실제로는 무엇을 재기로 했느냐가 학습의 방향과 고칠 곳까지 정해요.
좋은 지표 하나만 잘 고르면 된다고 생각하기 쉽지만, 실제로는 하나만 보면 그 하나에만 맞춰지기 때문에 지켜 볼 항목을 옆에 함께 둬요.
7한 줄 요약
그러니까평가 지표는 잘한다는 말에 붙는 괄호이고, 어느 칸을 재기로 했느냐가 그 모델이 무엇을 잘하게 될지까지 정해요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02