데이터 누수Data Leakage

새어 든 정보는 점수를 부풀려요

모델을 만들 때는 자료를 학습용과 채점용으로 갈라 둬요. 학습용으로 배우게 하고 채점용은 손대지 않은 채 마지막에 꺼내 실력을 재요. 채점용은 모델이 처음 보는 자료여야 점수에 뜻이 생기니까요.

그런데 채점용 자료가 조금이라도 학습 쪽으로 넘어가면, 모델은 답을 아는 상태로 채점을 받아요. 점수는 아주 좋게 나오고 사람들은 좋은 모델을 만들었다고 믿어요. 문제는 실제 상황에 내놓는 순간이에요. 그때는 넘어올 정보가 없으니 성능이 뚝 떨어져요.

이 실패가 무서운 이유는 방향이에요. 다른 문제들은 대개 점수를 떨어뜨려서 스스로를 알리는데, 누수는 점수를 올려서 자신을 감춰요. 결과가 지나치게 좋으면 기뻐하기 전에 문틈부터 살펴야 하는 이유예요.

어디에 틈이 생기나요

첫 번째 틈은 순서예요. 자료 전체를 놓고 빈칸을 평균값으로 채우거나 값의 범위를 맞춘 뒤에 학습용과 채점용을 가르면, 채점용 자료의 값이 이미 그 평균 안에 섞여 들어간 거예요. 손질은 가른 다음에, 학습용만 보고 정한 기준으로 해야 해요.

두 번째 틈은 같은 것이 양쪽에 들어가는 경우예요. 한 사람의 기록이 여러 줄로 흩어져 있는데 줄 단위로 갈라 버리면, 같은 사람이 학습용에도 채점용에도 있게 돼요. 같은 상품 사진을 각도만 바꿔 여러 장 찍은 경우도 마찬가지예요. 이럴 때는 사람 단위, 물건 단위로 묶어서 갈라야 해요.

세 번째 틈은 시간이에요. 앞일을 맞히는 문제인데 자료를 아무렇게나 섞어 가르면, 나중에 일어난 일을 배우고 그 앞의 일을 맞히는 꼴이 돼요. 시간이 걸린 문제는 반드시 어느 시점을 기준으로 앞뒤를 갈라야 해요.

정답이 딸려 들어온 칸

가장 알아채기 어려운 틈은 정답이 다른 이름으로 들어와 있는 칸이에요. 병에 걸렸는지 맞히는 문제에 "처방받은 약 이름" 칸이 들어 있다면, 모델은 병을 알아보는 대신 약 이름을 읽어요. 해지할 손님을 맞히는 문제에 "해지 처리 날짜"가 들어 있는 것도 같은 일이에요.

이런 칸은 사람이 보기에도 자연스럽게 생겼어요. 그래서 각 칸이 언제 만들어지는 값인지를 따져 봐야 해요. 맞히려는 순간보다 나중에 생기는 값이라면 실제로 쓸 때는 존재하지 않는 값이고, 학습에 넣어서는 안 돼요.

새는 곳을 찾는 방법

가장 좋은 신호는 지나치게 좋은 점수예요. 어려운 문제인데 거의 다 맞힌다면 축하하기 전에 의심해요. 한 칸을 빼면 점수가 뚝 떨어지는 칸이 있다면 그 칸이 새는 자리일 가능성이 커요.

자료를 다루는 순서를 하나의 흐름으로 묶어 두는 것도 도움이 돼요. 가르기, 손질, 학습, 채점을 사람 손으로 그때그때 하면 순서가 뒤엉키기 쉬워요. 순서를 고정해 두면 문틈이 생길 자리 자체가 줄어들어요.