라벨링Labeling

붙이는 일이 곧 기준을 만드는 일이에요

라벨링을 단순한 준비 작업으로 보기 쉽지만, 사실은 무엇을 정답으로 볼지 결정하는 자리예요. 어느 쪽으로 붙였느냐가 그대로 모델이 배울 내용이 되고, 나중에 채점할 때의 잣대가 돼요.

그래서 라벨링을 시작하기 전에 정해야 할 것이 있어요. 어떤 칸으로 나눌지, 칸에 안 들어가는 것은 어떻게 할지, 하나에 여러 답이 붙어도 되는지예요. 이걸 정하지 않고 손부터 대면 절반쯤 갔을 때 처음부터 다시 하게 돼요.

지침서가 작업의 절반이에요

잘 만든 지침서에는 칸 이름만 있는 것이 아니에요. 경계에 걸친 예시가 함께 실려 있어요. 이런 경우는 이 칸, 이런 경우는 저 칸이라고 실제 자료를 보여 주는 방식이에요.

지침서는 처음부터 완성되지 않아요. 작업하다 막힌 사례가 나올 때마다 판단을 적어 넣으며 자라요. 그래서 초반에는 조금씩 붙여 보며 지침을 다듬고, 규칙이 안정된 뒤에 본격적으로 물량을 붙이는 순서를 밟아요.

지침이 바뀌면 앞서 붙인 것을 되돌아가 고쳐야 해요. 앞부분과 뒷부분의 기준이 다른 자료 묶음은 배우기도 어렵고 채점하기도 어려워요.

사람마다 다르게 붙어요

같은 자료를 두 사람에게 주면 판단이 갈리는 몫이 반드시 생겨요. 이 갈린 정도를 수치로 재 두면 자료의 상태를 알 수 있어요. 일치도가 낮다면 작업자가 게을러서가 아니라 지침이 모호하거나 자료 자체가 애매하다는 뜻이에요.

이 수치는 기대치를 정하는 데도 쓰여요. 사람들끼리도 일곱 번 중 다섯 번밖에 같은 답을 내지 못하는 자료라면, 모델에게 그보다 높은 점수를 요구하는 것은 무리예요.

애매한 것은 버리지 말고 모아요

경계에 걸친 자료를 아무 칸에나 넣어 치우면 당장은 편하지만 나중에 값을 치러요. 모델은 그 애매한 칸에서 가장 자주 틀리는데, 정답 자체가 흔들리니 고칠 방향도 안 보여요.

그래서 애매한 것은 보류 칸으로 따로 모아 두고 한꺼번에 의논해요. 여기서 나온 판단이 지침서의 가장 값진 부분이 돼요. 남겨 둔 보류 자료는 나중에 모델이 어디서 헷갈리는지 확인하는 시험 자료로도 요긴해요.

손을 덜어도 검수는 남아요

자료가 많아지면 사람 손만으로는 감당이 안 돼요. 규칙으로 자동으로 붙이거나, 이미 학습된 모델에게 초안을 붙이게 하고 사람이 고치는 방식을 써요. 확신이 낮은 것만 골라 사람에게 보내는 방식도 흔해요.

다만 어떤 방식을 쓰든 사람의 검수 자리는 남아요. 자동으로 붙인 답에는 같은 방향의 실수가 규칙적으로 섞이는데, 이런 실수는 무작위 오류보다 훨씬 나쁘게 작용하거든요. 붙인 결과 중 일부를 뽑아 사람이 다시 확인하는 절차를 처음부터 일정에 넣어 둬요.