사람 평가Human Evaluation

무엇을 볼지부터 정해요

가장 흔한 실패는 기준표 없이 "잘 썼는지 봐 주세요"라고 맡기는 거예요. 어떤 사람은 문장이 매끄러운지를 보고, 어떤 사람은 사실이 맞는지를 보고, 어떤 사람은 길이를 봐요. 결과를 모아 놓으면 서로 다른 것을 잰 숫자가 뒤섞여요.

그래서 항목을 쪼개요. 물어본 것에 답했는지, 사실이 맞는지, 읽기 편한지, 불쾌한 표현이 없는지를 따로 매겨요. 항목마다 "이런 경우는 몇 점"이라는 예시를 두세 개씩 붙여 두면 사람 사이의 눈금이 훨씬 잘 맞아요.

기준표를 만드는 일 자체가 평가의 절반이에요. 무엇이 좋은 답인지 글로 적을 수 없다면, 그건 아직 무엇을 만들려는지 정하지 못했다는 뜻이기도 해요.

점수를 매길까, 둘 중 고를까

답 하나에 점수를 매기는 방식은 만들기 쉽지만 눈금이 흔들려요. 같은 답을 놓고 어떤 사람은 3점, 어떤 사람은 5점을 줘요. 앞에 본 답이 좋았는지 나빴는지에 따라서도 점수가 달라져요.

그래서 두 답을 나란히 놓고 어느 쪽이 나은지 고르게 하는 방식을 많이 써요. 절대 눈금이 필요 없으니 사람 사이의 차이가 줄고, 같은 사람이 여러 번 해도 결과가 고르게 나와요. 고르기 결과가 쌓이면 승패를 모아 순위 점수로 바꿔요.

대신 짝지어 고르는 방식은 품이 더 들어요. 후보가 늘어나면 견줘야 할 짝이 빠르게 늘어나거든요. 그래서 모든 짝을 다 보지 않고 필요한 짝만 골라 보는 방법을 함께 써요.

사람이 갈릴 때 어떻게 하나요

두 사람이 같은 답을 보고 얼마나 같은 판단을 내리는지 재 두는 게 좋아요. 이 값이 낮으면 사람이 잘못한 게 아니라 기준표가 모호한 거예요. 어긋난 건들을 모아 놓고 보면 기준표에서 고쳐야 할 자리가 드러나요.

한 건을 여러 명이 보고 다수의 손을 드는 방식도 흔해요. 사람마다 남아 있는 취향이 서로 상쇄되니까 결과가 안정돼요. 누가 만든 답인지 가려 두고, 답이 나오는 순서도 섞어야 해요. 왼쪽에 놓인 답을 더 좋게 보는 버릇 같은 것이 생각보다 크게 작동하거든요.

느리고 비싼 것이 진짜 문제예요

사람 평가의 약점은 정확도가 아니라 속도와 비용이에요. 모델을 조금 고칠 때마다 사람을 불러 모을 수는 없어요. 그래서 개발 중에는 자동으로 재는 잣대를 쓰고, 중요한 길목에서만 사람 평가를 돌리는 식으로 섞어 써요.

요즘은 언어 모델에게 채점을 시키는 방법도 널리 쓰여요. 빠르고 싸지만 사람과 다르게 판단하는 버릇이 있어서, 그 채점이 믿을 만한지는 결국 사람 평가 결과와 얼마나 겹치는지로 확인해요. 자동 채점이 아무리 늘어나도 사람 평가가 사라지지 않는 이유예요.