토크나이저Tokenizer

칸 목록은 자동으로 만들어졌어요

목록을 만드는 방법은 의외로 단순해요. 먼저 모든 글자를 하나하나 낱개 칸으로 놓아요. 그다음 학습용 글 전체를 훑으면서 가장 자주 붙어 다니는 글자 쌍을 찾아 하나로 합치고, 그 합친 덩어리를 새 칸으로 등록해요. 이 합치기를 수만 번 반복하면 목록이 완성돼요.

자주 나오는 말일수록 일찍 합쳐져서 큰 칸을 차지해요. 흔한 조사나 어미, 자주 쓰이는 단어가 그렇게 자기 칸을 얻어요. 반대로 드물게 나오는 말은 끝까지 합쳐지지 못하고 작은 조각들로 남아요.

목록의 크기는 보통 수만 개 수준이에요. 늘리면 문장당 조각 수가 줄어 효율이 좋아지지만, 모델이 다뤄야 할 후보가 그만큼 많아져서 무거워져요. 이 사이에서 균형을 잡은 값이 지금의 수만 개예요.

목록에 없는 말은 나눠 담아요

토크나이저는 모르는 말을 만나도 포기하지 않아요. 목록 안에 있는 더 작은 조각들의 조합으로 반드시 쪼개 낼 수 있게 설계돼 있어요. 낱글자까지 목록에 들어 있으니 최악의 경우에도 한 글자씩은 담을 수 있어요.

그래서 신조어나 낯선 외국 지명도 오류 없이 처리돼요. 대신 조각 수가 확 늘어나요. 흔한 단어 하나가 한 조각인데 낯선 이름 하나가 다섯 조각이 되는 일이 흔해요. 조각 수는 곧 한 번에 넣을 수 있는 글의 양과 비용으로 이어지니, 이 차이가 그냥 넘길 일은 아니에요.

한국어는 이 문제를 더 크게 겪어요. 글자 종류가 많은 데다 같은 낱말에 조사와 어미가 계속 다르게 붙기 때문에, 목록에 통째로 담기지 못한 형태가 잘게 쪼개지기 쉬워요.

자를 때와 되돌릴 때 같은 목록을 써요

글을 조각으로 잘라 번호 줄로 바꾸는 과정이 있고, 모델이 뱉은 번호 줄을 다시 글자로 이어 붙이는 과정이 있어요. 둘 다 같은 목록을 뒤집어 쓰는 거예요. 목록이 없으면 번호는 아무 의미도 없어요.

그래서 모델과 토크나이저는 항상 한 쌍으로 움직여요. 다른 목록으로 자른 번호를 넣으면 모델은 전혀 엉뚱한 글을 읽은 셈이 돼요. 목욕탕이 다른데 열쇠 번호만 들고 가는 것과 같아요.

빈칸과 줄바꿈도 조각의 일부로 함께 담겨요. 되돌렸을 때 원래 글이 정확히 복원되려면 그래야 하니까요. 조각 앞에 붙은 빈칸까지 한 칸에 들어가는 경우가 많아요.

목록이 다르면 조각 수도 달라져요

모델을 만든 곳마다 학습에 쓴 글이 다르고, 그 글에서 뽑은 목록도 다르니, 같은 문장을 넣어도 조각 수가 서로 달라요. 어떤 목록은 한국어 글을 많이 보고 만들어져서 한글 덩어리를 통째로 담고 있고, 어떤 목록은 영어 위주라 한글을 잘게 쪼개요.

그래서 "이 문장은 몇 조각인가"라는 질문에는 모델을 정하지 않고는 답할 수 없어요. 서비스 요금을 비교할 때도 조각당 단가만 보면 안 되고, 같은 문장이 각각 몇 조각이 되는지 함께 봐야 해요.

토크나이저 때문에 생기는 일들

모델이 긴 숫자 계산을 자주 틀리는 데는 이유가 있어요. 숫자가 자릿수대로 잘리지 않고 엉뚱한 덩어리로 쪼개지기 때문이에요. 같은 수라도 어디서 잘리느냐가 달라서 규칙을 잡기 어려워요.

"이 단어에 자음이 몇 개 있나요" 같은 질문에 약한 것도 같은 이유예요. 모델은 낱글자를 따로 보지 않고 뭉쳐진 조각 번호만 받으니, 조각 안에 무슨 글자가 들었는지는 흐릿하게만 알아요. 반대로 오타가 조금 있어도 곧잘 알아듣는 건, 쪼개진 조각들이 원래 말과 비슷한 자리에 놓이기 때문이에요.