양자화Quantization

개수는 그대로, 자릿수만 줄여요

모델 안에는 학습으로 정해진 숫자가 수십억 개 들어 있어요. 원래는 이 숫자를 소수점 아래까지 넉넉한 자리로 저장해요. 미세한 차이까지 담을 수 있지만 한 개마다 자리를 많이 차지해요.

양자화는 이 숫자들을 성긴 눈금 위로 옮겨 적어요. 눈금 사이에 걸린 값은 가장 가까운 눈금으로 반올림해요. 숫자가 사라지지도, 연결이 끊기지도 않아요. 표의 칸 수는 그대로이고 칸 안에 적힌 숫자가 짧아질 뿐이에요.

자리를 절반으로 줄이면 용량도 절반쯤 돼요. 네 분의 일까지 줄이는 것도 흔해요. 열 몇 기가바이트짜리 모델이 사오 기가바이트로 내려오면, 그때부터 개인 컴퓨터에서 돌릴 수 있는 물건이 돼요.

눈금을 어디에 거느냐가 실력이에요

눈금을 성기게 만들 때 값을 어느 구간에 펼칠지 정해야 해요. 대부분의 숫자가 0 근처에 몰려 있는데 눈금을 아주 큰 값까지 넓게 늘려 두면, 정작 중요한 0 근처가 통째로 한 눈금 안에 뭉개져요.

그래서 층마다, 혹은 줄마다 따로 눈금 간격을 정해요. 값이 크게 튀는 소수의 숫자만 원래 자리로 남겨 두고 나머지만 줄이는 방법도 써요. 같은 자릿수로 줄여도 이 손질을 얼마나 잘했느냐에 따라 결과 품질이 꽤 벌어져요.

작은 예시 데이터를 흘려보내면서 실제로 어떤 값이 어디에 몰리는지 재 본 뒤 눈금을 맞추기도 해요. 학습을 다시 하지는 않고 눈금만 맞추는 거라 몇 분에서 몇 시간이면 끝나요.

노트북과 휴대폰에서 AI가 도는 이유

모델을 돌릴 때 시간을 가장 많이 잡아먹는 일은 계산 자체가 아니라 숫자를 메모리에서 꺼내 오는 일이에요. 자릿수가 짧아지면 같은 시간에 더 많은 숫자를 실어 나를 수 있어요. 그래서 답이 나오는 속도가 눈에 띄게 빨라져요.

그래픽 메모리에 다 올라가느냐 마느냐도 갈려요. 모델이 메모리에 못 들어가면 조각을 계속 바꿔 끼워야 해서 속도가 크게 떨어지거든요. 브라우저 안에서 도는 대화 AI, 인터넷 없이 쓰는 번역기, 휴대폰 사진 정리 기능은 대부분 눈금을 줄인 모델이에요.

무엇을 잃는지도 알아야 해요

가벼워진 만큼 대가가 있어요. 반올림 때문에 원래 값과 조금씩 어긋나고, 그 어긋남이 층을 지나며 조금씩 쌓여요. 답 한 줄을 쓰는 데도 층을 수십 번 지나가니, 처음에는 안 보이던 차이가 뒤로 갈수록 드러나요.

특히 아슬아슬하게 갈리던 판단이 흔들려요. 긴 셈이나 코드처럼 한 글자만 틀려도 결과가 어긋나는 일, 답이 아주 길어지는 일에서 티가 잘 나요. 반대로 가벼운 대화나 요약에서는 차이를 알아채기 어려운 편이에요.

가지치기와는 다른 방법이에요

모델을 가볍게 만드는 방법이라 가지치기와 자주 같이 나오지만 하는 일이 달라요. 양자화는 숫자를 하나도 버리지 않아요. 다 남겨 두고 적는 방식만 성기게 바꿔요. 가지치기는 반대로 안 쓰는 연결을 아예 없애서 개수를 줄여요.

둘은 서로 방해하지 않아서 함께 쓰기도 해요. 먼저 안 쓰는 연결을 덜어내 개수를 줄이고, 남은 숫자들의 눈금을 성기게 바꾸는 식이에요.