언어 모델Language Model

하나가 아니라 후보 전체에 점수를 매겨요

언어 모델이 내놓는 것은 단어 하나가 아니에요. 알고 있는 모든 조각에 대해 "이게 다음에 올 가능성"을 한꺼번에 매긴 점수표예요. 조각 목록이 수만 개면 점수도 수만 개가 나와요.

이 점수표는 전부 더하면 1이 되도록 정리돼요. 그래서 "이 후보가 40퍼센트, 저 후보가 15퍼센트" 하는 식으로 읽을 수 있어요. 문자 앱이 추천 세 개만 보여 주는 건 화면이 좁아서일 뿐, 속에서는 훨씬 많은 후보에 순위가 매겨져 있어요.

점수가 고르게 퍼져 있으면 어떤 말이 와도 자연스러운 자리라는 뜻이에요. 반대로 한 후보에 점수가 몰려 있으면 그 자리에는 그 말밖에 올 수 없다는 뜻이에요. 잘 알려진 속담의 뒷부분이 그런 자리예요.

규칙을 적어 준 사람이 없어요

문법책을 넣어 준 게 아니에요. 학습 방법은 놀랄 만큼 단순해요. 글을 가져와 뒷부분을 가리고, 모델에게 다음 말을 맞혀 보게 한 다음, 실제 정답과 얼마나 어긋났는지를 보고 내부 숫자를 아주 조금 고쳐요. 이 과정을 수십억 번 반복해요.

정답을 사람이 따로 붙여 줄 필요가 없다는 점이 중요해요. 글 자체에 이미 정답이 들어 있으니까요. 덕분에 인터넷에 있는 방대한 글을 그대로 교재로 쓸 수 있었고, 이게 언어 모델이 갑자기 커질 수 있었던 이유예요.

이렇게 배우다 보면 문법뿐 아니라 그 글에 담긴 사실 관계와 말투까지 함께 따라 들어와요. 다음 말을 잘 맞히려면 세상에 대한 정보도 어느 정도 알아야 하기 때문이에요.

늘 1등을 고르지는 않아요

점수가 가장 높은 후보만 계속 고르면 어떻게 될까요. 문장이 금세 뻣뻣해지고 같은 표현을 반복하게 돼요. 그래서 실제로는 점수를 확률처럼 다뤄서, 높은 후보가 자주 뽑히되 가끔은 2등이나 3등도 뽑히도록 해요.

이 무작위성의 세기를 조절하는 손잡이가 따로 있어요. 세게 놓으면 표현이 다양해지는 대신 엉뚱한 말이 섞이고, 약하게 놓으면 안정적인 대신 밋밋해져요. 같은 질문을 두 번 넣었을 때 답이 다르게 나오는 것도 이 때문이에요.

얼마나 멀리 보느냐가 실력을 갈라요

초기 방식은 바로 앞 두세 단어만 봤어요. 그러니 "어제 도서관에서 빌린 그 책"처럼 멀리 떨어진 말을 이어받지 못했어요. 문장 앞머리에 나온 주어를 문장 끝에서 잊어버리는 식이에요.

이후 한 단어씩 순서대로 넘겨받으며 기억을 이어 가는 방식이 나왔고, 지금은 앞에 있는 모든 조각을 한꺼번에 놓고 서로의 관련도를 따지는 방식이 자리를 잡았어요. 한 번에 볼 수 있는 범위가 문장 몇 줄에서 책 한 권 분량까지 늘어난 게 지난 몇 년의 가장 큰 변화예요.

번역도 요약도 결국 이어 쓰기예요

언어 모델이 따로 번역 기능을 가진 건 아니에요. "다음 문장을 한국어로 옮기면"이라는 글 뒤에 이어질 말을 확률로 고르다 보니 번역문이 나오는 거예요. 요약도, 질문에 답하는 것도 마찬가지 방식이에요.

그래서 앞에 무슨 말을 어떻게 붙여 주느냐가 결과를 크게 바꿔요. 자판 위 추천이 앞에 친 글자에 따라 완전히 달라지는 것과 같은 원리예요.