토큰Token

조각을 나누는 기준은 '자주 쓰는 말'

써는 규칙을 사람이 하나하나 정하지는 않았어요. 학습에 쓴 엄청난 양의 글에서 자주 붙어 다니는 글자 묶음을 찾아, 그 묶음을 조각 목록에 미리 등록해 둔 거예요. 목록에 있는 말은 통째로 한 조각이 되고, 목록에 없는 말은 목록 안의 더 작은 조각들로 쪼개져요.

조각 목록의 크기는 보통 수만 개 수준이에요. 사람이 쓰는 말은 그보다 훨씬 다양하니까, 목록에 없는 말은 반드시 더 작은 조각으로 내려가요. 아주 낯선 글자는 글자 하나가 두세 조각으로 쪼개지기도 해요.

그래서 흔한 인사말은 조각 하나로 끝나고, 새로 생긴 신조어나 낯선 사람 이름은 서너 조각으로 늘어나요. 길이가 같은 글이라도 어떤 말을 썼느냐에 따라 조각 수가 달라지는 이유예요.

조각마다 번호가 붙어요

조각 목록에는 조각마다 번호가 매겨져 있어요. 문장이 조각으로 썰리면 각 조각은 자기 번호로 바뀌어요. 모델이 실제로 받는 것은 글자가 아니라 이 번호 줄이에요.

번호는 순서를 매기려고 붙인 이름표일 뿐이에요. 번호가 가깝다고 뜻이 비슷하지는 않아요. 뜻은 그다음 단계에서 번호를 숫자 묶음으로 바꿀 때 생겨요. 모델이 맞춤법이 조금 틀린 문장도 곧잘 알아듣는 건, 글자 모양이 아니라 조각과 조각 사이의 관계를 다루기 때문이에요.

답을 쓸 때도 조각 하나씩

AI가 답을 내놓는 방식도 똑같아요. 지금까지 쌓인 조각을 보고 다음에 올 조각 하나를 고르고, 그 조각을 붙인 뒤 다시 다음 조각을 고르는 일을 반복해요. 화면에 글자가 주르륵 흘러나오는 것처럼 보이는 건 조각이 하나씩 만들어지는 중이라서예요.

한 글자씩 타자를 치는 것처럼 보여도 실제 단위는 조각이에요. 그래서 두세 글자가 한꺼번에 튀어나오기도 해요. 답이 길어질수록 기다리는 시간도 그만큼 길어지고, 답의 길이 제한 역시 글자 수가 아니라 조각 수로 걸려 있어요.

한국어는 조각이 더 많이 들어요

영어는 단어 하나가 대체로 한 조각 안팎이에요. 한국어는 사정이 달라요. 글자 종류가 훨씬 많은 데다 조사와 어미가 계속 바뀌며 붙기 때문에, 목록에 통째로 담기지 못한 말이 잘게 쪼개져요.

그래서 뜻이 같은 문장이라도 한국어 쪽이 1.5배에서 2배쯤 조각을 더 써요. 한 번에 넣을 수 있는 글의 양은 그만큼 줄고, 답을 기다리는 시간과 비용은 그만큼 늘어요.

조각 수가 한도와 요금을 정해요

AI가 한 번에 볼 수 있는 조각 수에는 상한이 있어요. 대화가 길어져 상한을 넘으면 앞부분 조각이 밀려나요. 한참 대화하다 보면 AI가 처음에 한 약속을 잊은 것처럼 구는 일이 생기는데, 접시에서 밀려난 조각은 더 이상 보이지 않기 때문이에요.

프로그램에서 AI를 불러 쓸 때 내는 요금도 글자 수가 아니라 주고받은 조각 수로 매겨져요. 질문 앞에 붙이는 긴 예시나 통째로 넣은 문서가 곧바로 비용이 되는 이유예요. 보낸 조각과 돌려받은 조각을 따로 세는 곳이 많아서, 답을 길게 받을수록 계산서도 같이 늘어나요.