변이형 오토인코더Variational Autoencoder

점 대신 범위로 적어 둬요

보통의 오토인코더는 그림 한 장을 짧은 숫자 묶음 하나로 줄여요. 자료마다 자리 하나가 정해지는 셈이에요. 문제는 그 자리들 사이에 아무것도 없다는 점이에요. 자리와 자리 사이를 집으면 알아볼 수 없는 결과가 나와요.

변이형 오토인코더는 줄이는 쪽이 값 두 벌을 내놓아요. 하나는 중심이고 다른 하나는 퍼짐의 폭이에요. 그림 한 장이 점 하나가 아니라 동그란 영역 하나로 기록되는 셈이에요.

영역으로 기록하면 이웃한 자료들의 영역이 서로 겹치기 시작해요. 겹친 자리에서는 이쪽 그림과 저쪽 그림의 성질이 섞인 결과가 나와요. 자리 사이의 빈틈이 메워지는 것이 이 방식의 핵심이에요.

매번 범위 안에서 하나를 뽑아요

되살리는 쪽은 중심값을 그대로 받지 않아요. 적어 둔 폭 안에서 한 점을 무작위로 뽑아 그 값으로 결과를 만들어요. 같은 그림을 넣어도 뽑히는 점이 매번 다르니 나오는 결과도 조금씩 달라요.

이 뽑기가 훈련을 까다롭게 만들어요. 무작위가 끼어들면 어디를 얼마나 고쳐야 할지 되짚어 갈 수 없거든요. 그래서 뽑는 방식을 바꿔요. 무작위 값을 먼저 하나 만들어 두고, 중심에 폭을 곱해 더하는 형태로 자리를 정해요. 무작위가 바깥으로 빠지니 중심과 폭은 정상적으로 손볼 수 있어요.

벌점이 두 가지예요

학습에서 재는 것이 둘이에요. 첫째는 되살린 결과가 원본과 얼마나 어긋났는가예요. 둘째는 적어 둔 범위가 표준으로 정해 둔 모양에서 얼마나 벗어났는가예요. 배합표를 저마다 멀리 떨어진 곳에 적어 두지 못하도록 잡아 두는 규칙이에요.

두 벌점은 서로 반대로 당겨요. 되살리기만 잘하려 들면 폭을 최대한 좁혀 점 하나처럼 만들어 버려요. 그러면 사이가 다시 텅 비어요. 반대로 표준 모양에 맞추는 데만 힘을 쏟으면 모든 배합표가 한가운데로 몰려 어떤 그림을 넣어도 비슷한 결과가 나와요.

두 벌점의 무게를 어떻게 두느냐가 이 모델의 성격을 정해요. 무게를 조절해 각 자리가 맡는 성질을 또렷하게 나누려는 시도도 이 지점에서 나왔어요.

사이를 걸어가도 그럴듯해요

범위들이 겹쳐 자리가 촘촘해지면 재미있는 일이 가능해져요. 그림 두 장의 자리를 잡고 그 사이를 일정한 간격으로 걸어가며 결과를 만들어 보면, 한쪽에서 다른 쪽으로 서서히 변해 가는 장면들이 나와요. 중간에 알아볼 수 없는 결과가 끼어들지 않아요.

새 결과물을 만드는 방법도 간단해져요. 원본 없이 표준 범위에서 값을 하나 뽑아 되살리는 쪽에 넣으면 돼요. 학습에 없던 자리라도 근처 자료들의 성질이 섞인 결과가 나와요.

결과가 부드럽게 나오는 이유

이 방식으로 만든 그림은 형태가 안정적인 대신 가장자리가 무르고 세부가 뭉개진 인상을 주기 쉬워요. 같은 자리에서 여러 결과가 나올 수 있는 구조라, 되살리는 쪽이 그 여러 가능성의 가운데쯤을 그리는 편이 벌점을 줄이는 데 유리하기 때문이에요.

그래서 또렷한 그림이 필요한 자리에서는 다른 방식과 짝을 지어 써요. 자료를 작은 요약본으로 줄여 두는 역할만 이 구조에 맡기고, 그 안에서 결과를 다듬는 일은 얼룩을 걷어 내는 방식에 넘기는 식이에요. 소리나 분자 구조처럼 자리 사이가 매끄럽게 이어져야 하는 분야에서는 지금도 이 방식 자체가 널리 쓰여요.