데이터 과학Data Science

질문을 먼저 좁혀요

"데이터를 좀 봐 달라"는 부탁은 아직 질문이 아니에요. 데이터로 답할 수 있는 형태까지 좁혀야 일이 시작돼요. "요즘 손님이 왜 줄었지"는 답할 수 없지만, "지난달에 가입한 사람 중 첫 주에 한 번도 안 들어온 비율이 예전보다 높은가"는 답할 수 있어요.

좁히는 과정에서 무엇을 알아내면 무엇을 하기로 할지도 함께 정해요. 어떤 결과가 나와도 하는 일이 똑같다면, 그 분석은 하지 않아도 되는 분석이에요. 이 확인을 건너뛰면 몇 주를 들여 만든 표가 아무 데도 쓰이지 않는 일이 생겨요.

모으고 정리하는 데 대부분의 시간을 써요

현실의 데이터는 깔끔한 표로 도착하지 않아요. 빈칸이 있고, 같은 줄이 두 번 들어와 있고, 단위가 섞여 있고, 시간대가 다르게 찍혀 있어요. 한 사람이 가입할 때와 결제할 때 다른 이름으로 남아 있는 일도 흔해요.

이 단계가 지루해 보여도 결과를 좌우해요. 잘못 들어간 값 몇 개가 평균을 통째로 밀어 올리고, 중복된 줄이 성과를 부풀려요. 뒤에 아무리 좋은 모델을 붙여도 재료가 어긋나 있으면 답도 어긋나요.

정리하면서 데이터가 어떻게 만들어졌는지도 함께 확인해요. 앱을 켠 사람만 기록에 남는 구조라면, 그 데이터로 "사람들은 앱을 자주 켠다"는 결론을 내릴 수 없어요.

먼저 눈으로 살펴봐요

모델을 붙이기 전에 데이터를 그림으로 그려 보는 단계가 있어요. 평균과 합계만 보면 놓치는 게 너무 많거든요. 평균이 같아도 한 덩어리로 모여 있는 경우와 양쪽 끝에 갈라져 있는 경우는 전혀 다른 이야기예요.

이 단계에서 이상한 값과 예상 못 한 덩어리가 드러나요. 나이가 200살로 찍힌 줄, 특정 요일에만 뚝 끊기는 기록, 두 무리로 확연히 갈리는 이용자 같은 것들이에요. 답보다 먼저 나오는 이 발견들이 다음 질문을 만들어 줘요.

모델은 마지막에 꺼내는 도구예요

앞으로 어떻게 될지를 맞혀야 할 때, 그때 모델이 필요해요. 그전에 단순한 비교나 나눠 보기로 답이 나온다면 그걸로 충분하고, 그 편이 설명하기도 쉬워요.

여기서 가장 자주 미끄러지는 지점이 원인과 상관을 헷갈리는 일이에요. 두 숫자가 나란히 움직인다고 해서 하나가 다른 하나를 만든 건 아니에요. 아이스크림이 많이 팔린 날 물놀이 사고가 늘어난다고 아이스크림이 원인은 아니듯, 숨은 세 번째 이유가 둘 다를 움직이는 경우가 흔해요.

원인을 확인하려면 조건을 나눠 직접 비교해 보는 방법이 필요해요. 이용자를 두 무리로 나눠 한쪽에만 바꾼 화면을 보여 주고 결과를 견주는 식이에요.

전하는 것까지가 일이에요

분석이 끝나면 남은 일은 설득이에요. 무엇을 알아냈는지, 그래서 무엇을 하면 좋은지, 이 결론을 어디까지 믿어도 되는지를 함께 전해야 해요.

숫자를 잘 아는 사람일수록 마지막 항목을 빼먹지 않아요. 표본이 적어서 흔들릴 수 있다거나, 이 기간에만 있었던 사정이 섞여 있다는 단서를 함께 말해 주는 거예요. 확신에 찬 결론 하나보다, 어디까지 확실하고 어디부터 불확실한지 갈라 주는 쪽이 실제 결정에 훨씬 도움이 돼요.