데이터 편향Dataset Bias
모은 자료 자체가 한쪽으로 쏠려 있는 상태
- 데이터 편향은 모아 놓은 자료 자체가 한쪽으로 쏠려 있는 상태예요. 모델을 만들기 전부터 이미 생겨 있어요.
- 대개 누가 의도해서가 아니라 모으기 쉬운 쪽만 쌓여서 생겨요.
- 자료가 적은 쪽에서 자주 틀리는데, 전체 점수는 멀쩡해 보여요. 많은 쪽이 점수를 끌어올리니까요.
- 사람에 대한 판단에 쓰이면 같은 쪽이 반복해서 손해를 봐요.
- 손볼 곳은 모델이 아니라 자료예요. 더미를 펼쳐 세어 보는 일부터 시작해요.
목차
1비유로 이해하기
전국의 기온 기록을 모아 둔 창고를 열어 봤다고 해 볼게요. 서류가 산더미인데 하나씩 들춰 보면 대부분 큰 도시에서 온 것이에요. 산간 마을 기록은 몇 장뿐이고, 작은 섬은 아예 빈칸이에요.
누가 일부러 도시만 잰 것은 아니에요. 관측 장비를 세우려면 전기와 통신이 필요하고, 고장 나면 사람이 가서 손봐야 해요. 그러다 보니 손이 닿기 쉬운 곳부터 장비가 서고, 세월이 지나면서 기록도 그쪽에만 쌓인 거예요.
문제는 이 창고를 그대로 믿을 때 생겨요. 자료만 보면 전국의 여름은 도시의 여름을 닮아 있어요. 이 기록으로 전국의 냉난방 계획을 세우면 도시에서는 잘 맞고 산간과 섬에서는 어긋나요. 그런데 어긋난다는 사실조차 잘 안 드러나요. 확인할 기록이 그쪽에는 없으니까요.
데이터 편향은 이렇게 창고 안 서류가 한쪽으로 쏠려 있는 상태를 가리켜요.
2자세히 알아보기
쏠림은 대개 손이 닿는 쪽으로 생겨요
자료는 세상을 고르게 비추지 않아요. 모으기 쉬운 쪽, 이미 기록이 남아 있는 쪽, 목소리가 큰 쪽이 더 많이 쌓여요. 인터넷에서 긁어모은 글과 사진도 마찬가지예요. 어떤 언어와 어떤 지역이 압도적으로 많고, 어떤 쪽은 거의 없어요.
과거의 판단이 그대로 담기는 경우도 있어요. 지난 몇 해의 결정 기록을 자료로 삼으면, 그 시절의 관행까지 함께 들어와요. 자료는 사실을 적은 것처럼 보이지만 실은 그때 누가 무엇을 골랐는지를 적은 것이기도 해요.
빠진 것은 세어지지 않는다는 점이 특히 까다로워요. 창고에 없는 서류는 목록에도 안 나오니, 무엇이 빠졌는지 알아채려면 바깥에서 따로 확인해야 해요.
적은 쪽에서 틀리고, 그 틀림은 잘 안 보여요
쏠린 자료로 배운 모델은 많은 쪽에서 잘하고 적은 쪽에서 못해요. 그런데 성적표에는 이 차이가 안 나타나요. 전체 정확도를 낼 때 많은 쪽이 대부분을 차지하니, 적은 쪽에서 다 틀려도 전체 숫자는 몇 점밖에 안 내려가요.
그래서 평가를 나눠서 해요. 지역별로, 조건별로, 자료가 적은 갈래별로 따로 점수를 내 보는 거예요. 나눠 보면 전체 90점 뒤에 60점짜리 줄이 숨어 있는 것이 드러나요.
이 확인은 자료를 모을 때부터 준비해 둬야 해요. 나중에 나눠 보려면 갈래를 알 수 있는 표시가 자료에 함께 붙어 있어야 하거든요.
사람을 다루는 자리에서는 손해가 쌓여요
기온 기록이라면 어긋나도 다시 재면 그만이에요. 하지만 사람을 고르거나 심사하는 자리에 쏠린 자료가 쓰이면 이야기가 달라져요. 자료에 적게 담긴 쪽은 계속 낮은 점수를 받고, 그 결과가 다시 다음 자료로 쌓여요.
한 바퀴 돌 때마다 쏠림이 굳어져요. 적게 뽑힌 쪽은 기록이 더 적어지고, 기록이 적으니 다음번에도 불리해지는 식이에요. 처음의 작은 기울기가 시간이 지나며 커지는 구조라, 한 번 자리를 잡으면 되돌리기가 어려워요.
그래서 사람에 관한 판단에는 결과를 갈래별로 계속 지켜보는 절차와, 이상하면 사람이 개입해 되돌릴 수 있는 길을 함께 만들어 둬요.
자료를 늘리는 것만으로는 안 풀려요
자료가 부족해서 생긴 문제로 보이니 더 모으면 될 것 같지만, 같은 방식으로 더 모으면 쏠림도 같은 비율로 커져요. 도시 관측소를 열 곳 더 세운다고 섬 기록이 생기지는 않아요.
필요한 것은 양이 아니라 방향이에요. 비어 있는 쪽을 겨냥해 따로 모으고, 그쪽 자료에 무게를 더 실어 배우게 하고, 그래도 부족하면 그 갈래에서는 판단을 미루고 사람에게 넘기는 식으로 다뤄요.
무엇을 해도 완전히 고르게 만들기는 어려워요. 그래서 남은 쏠림을 감추지 않고 적어 두는 일이 함께 가요. 자료 설명서에 어떤 갈래가 얼마나 담겼고 어디가 비어 있는지를 밝혀 두면, 나중에 이 자료를 쓰는 사람이 한계를 알고 쓸 수 있어요.
3조금 더 정확하게
데이터 편향은 한 가지가 아니에요. 모으는 통로 때문에 특정 쪽만 담기는 쏠림, 과거의 결정 기록을 그대로 담아 그때의 관행이 따라 들어오는 쏠림, 답을 붙이는 사람들의 판단이 한쪽으로 기울어 생기는 쏠림이 각각 다른 자리에서 생겨요. 원인이 다르면 손보는 방법도 달라요.
가까운 말들과의 자리도 갈라 두면 좋아요. 표본 편향은 자료를 뽑아 오는 방식이 기울어 있는 것을 가리키고, AI 편향은 그렇게 배운 모델이 실제로 치우친 결과를 내놓는 상태를 가리켜요. 데이터 편향은 그 사이에서 지금 쥐고 있는 자료 더미가 어떤 모양인지를 말해요.
비유가 어긋나는 지점도 있어요. 관측소는 새로 세우면 그때부터 기록이 쌓이지만, 어떤 자료는 애초에 기록으로 남지 않아 되살릴 방법이 없어요. 그런 자리에서는 없는 것을 지어내 채우기보다, 그 갈래에서는 판단을 하지 않는 선택이 더 나을 때가 있어요.
4직접 해보기
5흔한 오해
데이터 편향이 누군가 나쁜 마음을 먹어야 생긴다고 생각하기 쉽지만, 실제로는 손이 닿기 쉬운 쪽만 쌓이는 것만으로 충분히 생겨요.
자료를 많이 모으면 편향이 옅어진다고 여기기 쉽지만, 실제로는 같은 방식으로 더 모으면 쏠린 비율은 그대로거나 더 커져요.
전체 정확도가 높으면 편향이 없다고 생각하기 쉽지만, 실제로는 자료가 적은 갈래에서 크게 틀려도 전체 점수는 거의 내려가지 않아요.
7한 줄 요약
그러니까데이터 편향은 모아 놓은 자료가 한쪽으로 쏠려 있는 상태이고, 전체 점수는 멀쩡해 보이는 채로 적은 쪽에서만 조용히 틀려요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02