모델 붕괴Model Collapse

학습 재료에 AI 결과물이 섞여요

큰 모델은 인터넷에 쌓인 글과 그림을 긁어모아 배워요. 그런데 인터넷에 올라오는 글과 그림 가운데 AI가 만든 것의 비중이 빠르게 늘고 있어요. 다음 세대 모델을 만들려고 자료를 모으면 그 안에 앞 세대가 만든 결과물이 섞여 들어가요.

문제는 골라내기가 어렵다는 점이에요. AI가 만든 것인지 가려내는 도구는 확률만 알려 주고, 사람이 손본 결과물은 더 애매해져요. 모으는 쪽에서는 대부분 어느 쪽인지 모른 채 담게 돼요.

그래서 이 현상은 한 회사의 실수가 아니라 공용 자료 전체가 조금씩 오염되는 형태로 나타나요. 사람이 쓴 글이 많이 쌓인 시기의 자료가 귀해지는 이유예요.

먼저 사라지는 건 드문 쪽

모델은 배운 것의 분포를 흉내 내는데, 흔한 쪽은 잘 흉내 내고 드문 쪽은 잘 흉내 내지 못해요. 만들어 내는 결과에는 드문 표현이 원래보다 적게 나와요. 그 결과를 다시 배우면 드문 쪽의 비중이 한 번 더 줄어들어요.

이 깎임이 세대마다 되풀이돼요. 사투리와 낯선 문체, 흔치 않은 구도와 색감처럼 가장자리에 있던 것들이 먼저 빠져나가요. 가운데는 오래 버티고 가장자리부터 무너지는 모양이에요.

겉으로 보이는 품질은 한동안 멀쩡해요. 문장은 매끄럽고 그림은 깔끔하죠. 다만 어느 것을 시켜도 비슷한 결과가 나오는 상태로 조용히 옮겨 가요.

몇 세대만 지나도 좁아져요

작은 규모로 실험해 보면 흐름이 뚜렷해요. 앞 세대가 만든 결과만으로 다음 세대를 학습시키기를 반복하면, 몇 세대 만에 결과의 분포가 눈에 띄게 좁아지고 뒤로 갈수록 무너지는 속도가 빨라져요.

여기에는 오차가 겹쳐 쌓이는 사정이 있어요. 표본이 한정되어 생기는 어긋남, 모델이 분포를 완벽히 담지 못해 생기는 어긋남, 학습이 끝까지 수렴하지 않아 생기는 어긋남이 세대마다 더해져요. 앞 세대의 어긋남이 다음 세대에는 사실로 취급되니까요.

다만 실제 현장은 실험만큼 단순하지 않아요. 사람이 만든 자료가 계속 새로 들어오고, 만들어진 결과 가운데 사람들이 고른 것만 살아남는 걸러짐도 있어요. 그래서 붕괴는 예정된 결말이라기보다 재료를 관리하지 않으면 다가오는 위험에 가까워요.

모드 붕괴와는 다른 이야기예요

이름이 비슷해서 헷갈리기 쉬워요. 모드 붕괴는 한 모델을 학습시키는 도중에 벌어지는 일이에요. 잘 통하는 몇 가지 결과만 계속 내놓으면서 나머지를 포기해 버리는 상태죠. 학습 중인 그 모델 안에서 끝나는 문제예요.

모델 붕괴는 세대와 세대 사이의 문제예요. 이번 모델이 만든 결과물이 다음 모델의 교과서가 되고, 그다음 모델의 교과서가 되면서 여러 대에 걸쳐 재료 자체가 좁아져요. 한 모델을 잘 학습시키는 것만으로는 막을 수 없어요.

막는 방법은 재료 관리예요

첫째는 사람이 만든 자료를 계속 확보하는 것이에요. 새로 들어오는 사람의 기록이 있으면 가장자리가 다시 채워져요. 오래된 원본 자료를 잘 보관하는 일도 여기에 들어가요.

둘째는 섞이는 비율을 관리하는 것이에요. 만들어진 자료를 아예 빼는 것보다, 사람이 만든 자료에 더해 쓰되 비중을 낮게 유지하는 쪽이 현실적이에요. 이렇게 하면 좁아짐이 크게 완화된다는 결과들이 나와 있어요.

셋째는 표시와 걸러내기예요. 만들 때 눈에 띄지 않는 표시를 심어 두고 파일에 이력을 붙여 두면, 나중에 자료를 모을 때 어느 정도 골라낼 수 있어요. 사람이 검토해 고른 자료만 쓰는 방법도 함께 써요.