전문가 혼합Mixture of Experts

안내판이 담당 갈래를 골라요

모델을 통과하는 조각 하나하나에 대해, 갈래를 고르는 작은 판이 먼저 점수를 매겨요. 이 조각은 3번 갈래와 7번 갈래로 보내라, 다음 조각은 1번과 3번으로 보내라 하는 식이에요. 보통 갈래 수십 개 중에 두 개 정도만 골라요.

고른 갈래를 통과한 결과는 다시 하나로 합쳐져요. 이때 그냥 더하지 않고, 안내판이 매긴 점수의 비율대로 섞어요. 더 확신 있게 고른 쪽 의견에 무게를 더 주는 셈이에요.

안내판도 함께 학습돼요. 처음에는 아무렇게나 나누다가, 훈련이 진행되면서 어떤 조각을 어디로 보냈을 때 결과가 좋았는지에 따라 기준이 잡혀 가요. 사람이 갈래마다 담당을 정해 주는 게 아니에요.

크기는 크지만 매번 도는 곳은 일부예요

보통의 모델은 조각 하나가 지나갈 때마다 안에 있는 값을 전부 한 번씩 써요. 모델을 두 배로 키우면 계산량도 두 배가 되고, 답이 느려지고 값도 두 배로 들어요.

전문가 혼합은 이 고리를 끊어요. 갈래를 여덟 개로 늘려도 매번 도는 건 두 개뿐이라, 모델이 담고 있는 지식의 양은 늘면서 한 번 계산에 드는 일감은 거의 그대로예요. 그래서 이런 모델을 소개할 때는 숫자가 두 개 나와요. 전체 크기와, 한 번에 실제로 쓰이는 크기예요. 앞의 숫자만 보고 성능이나 필요한 장비를 짐작하면 어긋나요.

크기를 키우는 값싼 방법처럼 보이지만 한계도 뚜렷해요. 갈래를 아무리 늘려도 한 조각이 지나가며 얻는 계산의 깊이는 그대로라, 늘린 만큼 똑똑해지지는 않아요.

갈래는 분야 담당이 아니에요

이름이 전문가라서 한 갈래가 수학, 다른 갈래가 번역을 맡는 모습을 떠올리기 쉬워요. 실제로 들여다보면 그렇게 깔끔하지 않아요. 어떤 갈래는 문장 부호가 많이 몰리고, 어떤 갈래는 특정 언어의 조사에 반응하고, 대부분은 사람 말로 설명하기 어려운 기준으로 나뉘어 있어요.

같은 문장 안에서도 조각마다 가는 곳이 달라요. 한 문장을 통째로 한 갈래가 처리하는 게 아니라, 조각 단위로 매번 새로 갈라졌다 합쳐져요. 갈래를 하나 떼어 내 따로 쓰는 일이 안 되는 이유예요.

자리는 전부 지키고 있어야 해요

계산은 덜 하지만 메모리는 덜 쓰지 않아요. 어느 조각이 어느 갈래로 갈지 미리 알 수 없으니, 모든 갈래를 언제든 쓸 수 있게 올려 두어야 해요. 전체 크기가 큰 모델은 여전히 큰 장비를 요구해요. 개인용 컴퓨터에서 돌리기 어려운 이유이기도 해요.

몰림도 문제예요. 그냥 두면 인기 있는 갈래로 조각이 쏠려서, 어떤 갈래는 늘 붐비고 어떤 갈래는 거의 놀아요. 놀던 갈래는 학습이 안 돼서 더 안 쓰이는 쪽으로 굳어져요. 그래서 훈련할 때 한 갈래에 몰리면 손해를 주는 장치를 함께 넣고, 한 갈래가 받을 수 있는 조각 수에 상한을 두기도 해요. 상한을 넘겨 밀려난 조각은 그 층을 그냥 지나쳐 가요.