정확도Accuracy

맞혔는지 세려면 답안지가 먼저 있어야 해요

정확도는 저절로 나오는 숫자가 아니에요. AI가 내놓은 판정 하나하나 옆에 실제로는 무엇이었는지가 적힌 자료가 나란히 있어야 비로소 셀 수 있어요. 이 자료가 정답 데이터예요.

그래서 정확도를 잰다는 말에는 두 가지 준비가 딸려 있어요. 하나는 판정을 받아 볼 자료를 미리 떼어 두는 일, 다른 하나는 그 자료의 진짜 답을 사람이 확인해 두는 일이에요. 학습에 쓴 자료로 정확도를 재면 답을 외운 결과가 그대로 점수가 되니, 시험용 자료는 학습에서 완전히 빼 둬요.

한 숫자로 줄이면 사라지는 것들

정확도는 판정 결과를 딱 두 무더기로만 나눠요. 맞힌 것과 틀린 것. 그 안에서 어떤 식으로 틀렸는지는 전부 같은 취급을 받아요.

반납함으로 돌아가 보면 틀리는 방식은 두 가지예요. 멀쩡한 책을 손상으로 표시하는 것, 찢어진 책을 이상 없음으로 넘기는 것. 앞의 실수는 괜히 한 번 더 확인하게 만드는 일이고, 뒤의 실수는 다음 사람이 찢어진 책을 받아 가는 일이에요. 무게가 전혀 다른데도 정확도는 둘 다 "틀림 한 번"으로 세요.

어떤 식으로 틀렸는지를 갈라서 보려면 네 가지 경우를 칸에 나눠 적어야 해요. 그 표가 혼동 행렬이고, 정밀도와 재현율은 그 표의 칸에서 나와요.

드문 일을 찾을 때 정확도가 무너져요

한쪽이 압도적으로 많은 자료에서는 정확도가 아주 쉽게 부풀어요. 100권 중 손상된 책이 한 권뿐이라면, 펼쳐 보지도 않고 전부 이상 없음으로 넘겨도 99퍼센트가 나와요. 이 상태를 클래스 불균형이라고 불러요.

이런 자리에서 정확도 99퍼센트라는 말은 성능이 아니라 자료의 생김새를 알려 주는 숫자예요. 찾으려는 일이 드물수록 아무 일도 안 하는 쪽의 점수가 높아지니까요. 드문 것을 찾아내는 일일수록 정확도는 가장 믿기 어려운 지표가 돼요.

판단 요령이 하나 있어요. 정확도를 보기 전에 "아무 판단도 안 하는 기계라면 몇 점일까"를 먼저 계산해 보는 거예요. 그 점수보다 확실히 높지 않다면 그 모델은 아직 아무것도 배우지 않은 셈이에요.

시험지가 달라지면 점수도 달라져요

같은 모델이라도 어떤 자료로 재느냐에 따라 정확도가 크게 달라져요. 갓 들어온 새 책만 모아 시험하면 점수가 높게 나오고, 오래 돌아다녀 상태가 애매한 책만 모으면 뚝 떨어져요.

그래서 정확도를 이야기할 때는 숫자만 말하면 부족해요. 무엇으로 쟀는지, 몇 건을 쟀는지가 함께 있어야 해요. 열 건으로 잰 100퍼센트보다 만 건으로 잰 92퍼센트가 훨씬 믿을 만하고요.

그래도 정확도부터 보는 이유

한계가 이렇게 뚜렷한데도 정확도는 여전히 맨 앞에 놓여요. 계산이 단순하고, 누구에게 말해도 뜻이 곧바로 통하고, 두 모델을 거칠게 견주기에 편하기 때문이에요.

쓰임을 정리하면 이래요. 양쪽 경우가 비슷하게 많고 틀림의 무게도 비슷하다면 정확도만으로 충분해요. 한쪽이 드물거나 한쪽 실수가 훨씬 아프다면, 정확도는 첫 줄로만 두고 판단은 다른 지표에 맡겨요.