합성 데이터Synthetic Data

왜 만들어 쓰나요

가장 흔한 이유는 진짜가 모자라서예요. 드물게 일어나는 일일수록 모으기가 어려워요. 기계가 고장 나는 순간이나 아주 위험한 상황은 자주 겪을 수 없는데, 정작 그런 상황을 잘 다루는 모델이 필요하잖아요.

두 번째 이유는 자료 안에 사람의 정보가 들어 있어서예요. 진짜 기록을 그대로 쓸 수 없는 분야에서는 통계적 성질만 닮은 자료를 새로 지어내 쓰기도 해요. 개인을 되짚을 수 없게 만드는 것이 이때의 핵심이에요.

세 번째 이유는 정답을 붙이는 품이에요. 사람이 손으로 정답을 다는 일에는 시간과 비용이 크게 들어요. 만들어 낸 자료는 무엇을 만들었는지 이미 알고 있으니 정답이 저절로 딸려 나와요.

어떻게 만드나요

가장 단순한 방법은 규칙으로 짓는 거예요. 어떤 값이 어떤 범위 안에서 어떻게 나오는지 규칙을 적어 두고 그대로 뽑아내요. 무엇을 만들었는지 훤히 알 수 있어서 다루기 쉽지만, 규칙에 안 적은 성질은 자료에 나타나지 않아요.

다른 방법은 진짜 자료를 본떠 짓는 거예요. 실제 자료를 학습한 모델이 그와 비슷한 것을 새로 만들어 내요. 사진과 글은 이 방법을 많이 써요. 진짜에 가까운 자료를 얻는 대신, 본이 된 자료의 성질이 그대로 옮겨 붙는다는 점을 알고 있어야 해요.

가진 자료를 조금씩 비틀어 늘리는 것과는 구분해요. 사진을 뒤집거나 밝기를 바꾸는 일은 원래 자료가 그대로 남아 있는 손질이고, 합성 데이터는 없던 것을 새로 지어내는 쪽이에요.

어긋나는 자리를 아는 게 핵심

만들어 낸 자료는 만든 사람이 생각한 세상만 담아요. 규칙에 넣지 않은 예외, 진짜 자료에서 드물게 튀어나오는 이상한 값, 사람들이 실제로 저지르는 엉뚱한 입력은 대부분 빠져 있어요. 이런 자료로만 배운 모델은 잘 정돈된 상황에서는 잘하다가 현장에 나가면 자주 넘어져요.

균일함도 함정이에요. 인조 잔디는 어디를 밟아도 느낌이 같은데, 진짜 잔디는 자리마다 달라요. 만들어 낸 자료는 서로 너무 비슷해서 개수만 늘고 배울 거리는 늘지 않는 일이 흔해요. 그래서 개수보다 얼마나 서로 다른지를 먼저 확인해요.

그래서 채점은 반드시 진짜 자료로 해요. 만든 자료로 배우고 만든 자료로 채점하면 잘하는 것처럼 보이지만, 그 점수는 만든 사람의 상상 안에서만 유효해요.

만든 것을 다시 본뜨면

가장 조심할 일은 되먹임이에요. 만들어 낸 자료로 학습한 모델이 다시 자료를 만들고, 그 자료로 또 학습하는 일이 반복되면 진짜에서 조금씩 멀어져요. 인조 잔디의 사진을 보고 다음 인조 잔디를 만들고, 그것을 다시 본떠 또 만드는 셈이에요.

멀어지는 방식에도 순서가 있어요. 먼저 드문 것들이 사라져요. 흔한 모양만 남고 구석에 있던 것들이 지워지죠. 그다음에는 남은 것들끼리도 점점 닮아 가요. 그래서 실제로 쓸 때는 진짜 자료를 일정 비율로 계속 섞고, 만들어 낸 자료가 전체에서 얼마나 되는지를 기록해 둬요.