데이터 품질Data Quality

검사 갈래는 다섯 쪽으로 나뉘어요

첫째는 값이 맞는지 보는 갈래예요. 키를 적는 칸에 몸무게가 들어가 있거나, 날짜의 월과 일이 뒤집혀 적힌 자료가 여기서 걸려요. 사람이 손으로 옮겨 적은 자료일수록 이런 흠이 많이 섞여요.

둘째는 빠진 데가 없는지 보는 갈래예요. 빈칸이 드문드문 있는 정도는 메우거나 그 줄만 빼고 쓸 수 있지만, 한 칸이 통째로 비어 있으면 그 칸을 쓰는 일 자체를 접어야 해요.

셋째는 얼마나 오래된 자료인지 보는 갈래예요. 몇 해 전에 받아 둔 물로 오늘의 물놀이터를 판단할 수 없듯, 세상이 바뀌었는데 자료만 예전 것이면 모델은 예전 세상을 계속 설명해요.

넷째와 다섯째는 앞뒤가 맞는지, 겹쳐 있지 않은지 보는 갈래예요. 같은 것을 두 곳에서 다르게 적어 두지 않았는지, 같은 기록이 여러 벌 섞여 들어오지 않았는지를 봐요. 같은 기록이 세 번 들어가 있으면 그 기록의 목소리만 세 배로 커져요.

흠은 그대로 아래로 흘러가요

흐린 물을 그대로 부어 놓으면 나중에 좋은 거름망을 붙여도 이미 들어간 흙은 빠지지 않아요. 자료도 그래요. 잘못 붙은 정답표로 학습한 모델은 그 잘못을 규칙으로 배우고, 그다음부터는 배운 규칙대로 답해요.

더 곤란한 건 흠이 눈에 잘 안 띈다는 점이에요. 전체 자료 가운데 아주 일부만 잘못돼 있으면 겉으로 드러나는 점수는 멀쩡해 보여요. 그러다 그 일부와 닮은 상황이 실제로 들어왔을 때만 엉뚱하게 답해요. 쓰는 사람 입장에서는 이유를 알 수 없는 실수처럼 보여요.

그래서 학습을 돌리기 전에 자료를 들여다보는 시간이 아깝지 않아요. 학습을 마친 뒤에 흠을 찾으면 자료를 고치고 처음부터 다시 돌려야 해서 훨씬 비싸게 쳐요.

좋은 자료의 기준은 쓰임새가 정해요

물놀이터에 채우는 물과 마시는 물은 기준이 달라요. 자료도 같아요. 동네 가게의 하루 매출을 어림잡는 데는 몇 건 빠진 장부로도 충분하지만, 재고를 자동으로 주문하는 데 쓰려면 한 건도 빠지면 안 돼요.

품질을 재기 전에 이 자료로 무엇을 할지부터 정해야 하는 이유예요. 쓰임새가 정해지면 어느 갈래를 얼마나 엄하게 볼지가 따라와요. 모든 갈래를 똑같이 엄하게 보려 들면 손이 끝없이 들어가고, 정작 중요한 갈래를 놓쳐요.

같은 자료를 두 곳에서 쓸 때 한쪽에서는 쓸 만하고 다른 쪽에서는 못 쓸 자료가 되는 일도 흔해요.

검사는 계속 돌아가야 해요

물은 하루만 지나도 상태가 달라져요. 자료도 그래요. 새로 들어오는 자료의 형식이 어느 날 슬쩍 바뀌거나, 값을 적어 넣던 쪽에서 단위를 바꾸면 그날부터 들어온 자료가 통째로 어긋나요.

그래서 자료가 계속 들어오는 곳에서는 검사도 계속 돌려요. 빈칸이 얼마나 되는지, 값이 늘 있던 범위 안에 드는지, 하루에 들어온 건수가 평소와 비슷한지를 매일 재 두고 평소와 다르면 알림이 울리게 해요. 사람이 눈으로 훑는 것은 처음 한 번뿐이고, 그다음부터는 기계가 대신 떠 봐요.

한참 잘 돌던 서비스가 어느 날부터 이상한 답을 내놓으면, 모델을 뜯어보기 전에 자료가 들어오는 길부터 살펴보는 게 순서예요.