벤치마크Benchmark

벤치마크는 문제 묶음 하나가 아니에요

벤치마크라고 부르는 것 안에는 보통 세 가지가 들어 있어요. 풀어야 할 문제 묶음, 정답을 어떻게 맞다고 볼지 정한 채점 방식, 그리고 몇 번 물어볼지와 어떤 형식으로 물을지 같은 실행 조건이에요.

세 가지 중 하나만 달라져도 숫자가 흔들려요. 같은 문제를 냈어도 답을 한 번만 받는지 여러 번 받아 가장 좋은 것을 쓰는지에 따라 점수가 꽤 벌어져요. 그래서 점수를 밝힐 때는 조건을 함께 적는 것이 기본이에요.

무엇을 재는지가 그 벤치마크의 전부예요

세상에는 수백 가지 벤치마크가 있고, 저마다 재는 것이 달라요. 긴 글에서 사실을 찾아내는 능력을 재는 것, 여러 단계를 거쳐 답을 세워 가는 능력을 재는 것, 코드를 실제로 돌려 보고 통과하는지 보는 것이 전부 따로 있어요.

그래서 "점수가 높다"는 말만으로는 아무것도 알 수 없어요. 어느 벤치마크에서 높은지를 함께 들어야 뜻이 생겨요. 추운 곳에서 오래 버틴 건전지와 큰 힘을 짧게 몰아 내준 건전지는 잘하는 것이 다르니까요.

내 일에 맞는 벤치마크를 고르는 요령은 단순해요. 그 벤치마크의 문제 몇 개를 직접 읽어 보는 거예요. 내가 시키려는 일과 닮았으면 참고할 만하고, 전혀 다르면 그 점수는 남의 이야기예요.

문제가 공개되면 답이 새어 들어가요

벤치마크는 여럿이 함께 쓰려고 공개하는 것이 보통이에요. 그런데 공개된 문제와 답은 인터넷에 흩어지고, AI가 학습할 자료를 긁어모을 때 그 안에 섞여 들어갈 수 있어요.

그러면 시험 문제를 미리 본 것과 같은 일이 벌어져요. 이해해서 푸는 것이 아니라 본 적 있는 답을 떠올리는 것이라, 점수는 높은데 조금만 바꿔 물으면 무너져요. 이런 일을 자료가 새어 들었다고 말해요.

그래서 요즘은 답을 공개하지 않고 채점만 대신 해 주는 방식, 정기적으로 문제를 새로 갈아 끼우는 방식이 함께 쓰여요.

점수는 시간이 지나면 낡아요

새로 나온 벤치마크는 처음에는 아무도 잘 풀지 못해서 점수가 낮게 깔려요. 그러다 몇 해가 지나면 여러 곳이 나란히 높은 점수에 닿고, 결국 다 같이 만점에 가까워져요.

만점이 몰리면 그 벤치마크는 더 이상 순서를 가려 주지 못해요. 시험 조건이 너무 헐거워져 어느 제품을 올려놓아도 나란히 만점이 나오는 것과 같아요. 그때부터는 더 어렵거나 다른 각도에서 재는 새 벤치마크가 자리를 이어받아요.

벤치마크로 알 수 없는 것들

벤치마크는 정해진 형식의 문제를 정해진 방식으로 채점해요. 그러니 형식에 담기 어려운 것은 애초에 재지 못해요. 답이 읽기 좋게 쓰였는지, 모르는 것을 모른다고 말하는지, 오래 쓰다 보면 어떤 버릇이 나오는지 같은 것들이에요.

실제 서비스에서는 속도와 비용도 중요한데 이것도 보통 벤치마크 밖에 있어요. 그래서 벤치마크 점수는 후보를 추리는 데까지만 쓰고, 마지막 결정은 내 자료로 직접 재 본 결과에 맡기는 것이 안전해요.