LLM 심사LLM-as-a-Judge

어떻게 채점을 시키나요

가장 단순한 방법은 답 하나를 보여 주고 점수를 매기게 하는 거예요. 무엇을 볼지 적은 기준표를 함께 주고, 항목마다 몇 점인지 답하게 해요. 만들기는 쉽지만 눈금이 흔들려요. 같은 답을 다시 넣으면 점수가 조금씩 달라지고, 대체로 후한 쪽으로 몰려요.

더 안정적인 방법은 두 답을 나란히 보여 주고 어느 쪽이 나은지 고르게 하는 거예요. 절대 눈금이 필요 없으니 결과가 훨씬 고르게 나와요. 여기에 이유를 먼저 쓰게 한 다음 판정을 내리게 하면 정확도가 눈에 띄게 올라가요. 답을 먼저 내고 이유를 붙이게 하면 이유가 변명이 되거든요.

정답이 있는 문제라면 정답을 함께 건네는 방법도 좋아요. 심사하는 모델이 스스로 알고 있는지에 기대지 않고 대조만 하게 되니까, 모르는 분야에서도 판정이 훨씬 단단해져요.

늘어난 눈금, 네 가지 버릇

첫째는 길이예요. 길게 쓴 답을 더 좋게 보는 경향이 뚜렷해요. 내용이 같아도 문단을 늘려 놓으면 점수가 올라가요.

둘째는 순서예요. 두 답 가운데 먼저 보여 준 쪽을 더 좋게 보는 일이 흔해요. 그래서 순서를 바꿔 두 번 물어보고, 두 번 다 같은 쪽을 고를 때만 승부를 인정하는 방법을 써요.

셋째는 닮음이에요. 자기가 쓴 것과 비슷한 문체의 답을 더 좋게 봐요. 채점하는 모델과 채점받는 모델이 같은 계열이면 이 문제가 커져요.

넷째는 말투예요. 확신에 찬 문장에 후한 점수가 가요. 정확하지만 조심스럽게 쓴 답이 틀렸지만 단호한 답에 밀리는 일이 생겨요.

어긋나는 정도를 재 두기

이 버릇들을 없앨 수는 없어요. 대신 얼마나 어긋나는지 알아 둘 수는 있어요. 방법은 간단해요. 같은 건 몇백 개를 사람이 먼저 채점해 두고, 같은 건을 모델에게 채점시켜 두 결과가 얼마나 겹치는지 세요.

겹치는 비율이 높으면 그 뒤로는 안심하고 자동으로 돌릴 수 있어요. 낮으면 모델 탓만 하지 말고 기준표를 먼저 의심해요. 사람들끼리도 판단이 갈리는 항목이라면 모델에게도 갈릴 수밖에 없거든요.

한 번 맞춰 두고 끝낼 일도 아니에요. 채점하는 모델이 바뀌거나 다루는 주제가 달라지면 어긋나는 정도가 통째로 달라져요. 천 줄자를 새로 사면 다시 대 봐야 하는 것과 같아요.

어디에 쓰고 어디에 안 쓰나요

잘 맞는 자리는 개발 중의 반복 확인이에요. 프롬프트를 조금 고칠 때마다 수천 건을 다시 채점해 어느 쪽이 나아졌는지 봐야 하는데, 이런 일에 사람을 부를 수는 없어요. 눈에 띄는 실패를 걸러 내는 그물로 쓰기에도 좋아요.

반대로 조심할 자리는 바깥에 내놓는 성적이에요. 심사하는 모델과 채점받는 모델이 같은 계열일 때, 그리고 그 점수가 홍보에 쓰일 때는 판정을 사람에게 맡기는 편이 맞아요. 안전이나 사실 확인처럼 틀렸을 때 손해가 큰 판정도 마찬가지예요.