샘플링Sampling

통은 조각마다 새로 채워져요

글 한 편은 조각 하나씩 이어 붙여 만들어져요. 조각을 하나 붙일 때마다 모델은 지금까지의 글 전체를 다시 읽고, 다음에 올 만한 말마다 가능성을 새로 매겨요. 통에 어떤 카드가 몇 장 들어갈지는 그때그때 달라져요.

"오늘 점심은"까지 왔을 때와 "대한민국의 수도는"까지 왔을 때의 통은 완전히 달라요. 앞쪽 통에는 그럴듯한 카드가 수십 종류 들어 있고, 뒤쪽 통은 한 종류가 통을 거의 다 차지해요.

그래서 뽑기가 무작위여도 글이 엉뚱해지지 않아요. 통을 채우는 일은 모델이 문맥을 보고 하니까요. 무작위인 것은 통에서 꺼내는 손이지 통의 내용물이 아니에요.

늘 1등만 뽑으면 어떻게 되나

가장 많이 든 카드를 매번 그냥 집는 방법도 있어요. 뽑기라기보다 세어 보고 고르는 쪽이죠. 답이 정해진 질문에는 잘 맞아요.

문제는 긴 글이에요. 매번 가장 무난한 말만 이어 붙이면 문장이 뻣뻣해지고 같은 표현이 자꾸 돌아와요. 심하면 같은 문장을 몇 번씩 반복하며 맴돌기도 해요. 무난한 말 뒤에는 또 무난한 말이 가장 그럴듯하다 보니 빠져나오지 못하는 거예요.

가능성대로 뽑으면 이 맴돎에서 벗어나요. 가끔 2등이나 3등 카드가 뽑히면서 문장이 다른 길로 접어들거든요. 사람이 쓴 글처럼 읽히는 데는 이 흔들림이 꽤 큰 몫을 해요.

뽑기 전에 판을 손보는 설정들

뽑기 자체는 단순해요. 대신 뽑기 직전의 통을 손보는 설정이 두 가지 있어요.

온도는 카드 장수의 차이를 벌리거나 좁혀요. 낮추면 1등 그림이 통을 거의 다 차지하고, 올리면 뒤쪽 그림도 제법 여러 장이 들어가요. 순위는 그대로 두고 간격만 바꿔요.

탑 P 샘플링은 아래쪽 카드를 통에서 아예 빼요. 가능성 높은 순으로 담다가 정해 둔 몫을 채우면 나머지는 통에 넣지 않아요. 통에 없는 카드는 아무리 뽑아도 나오지 않아요.

두 설정이 통을 정리하고, 샘플링이 그 통에서 한 장을 꺼내요. 셋을 헷갈리지 않으려면 이 순서를 기억해 두면 돼요.

같은 질문에 답이 매번 다른 이유

AI에게 같은 질문을 두 번 하면 답이 조금씩 달라요. 고장이 아니라 뽑기 때문이에요. 첫 조각에서 다른 카드가 뽑히면 그다음 통도 달라지고, 몇 조각 지나면 답 전체가 다른 길로 가요.

한 조각의 차이가 눈덩이처럼 커지는 셈이라, 앞부분이 조금만 갈려도 결론까지 달라지는 일이 생겨요. 답을 여러 번 받아 보면 모델이 어디에서 흔들리는지 감을 잡을 수 있어요. 매번 같은 답이 나오는 대목은 모델이 확신하는 자리고, 매번 다른 답이 나오는 대목은 근거가 얇은 자리예요.

같은 결과를 다시 얻고 싶을 때는 뽑기에 쓰는 시작값을 고정하는 방법을 쓰기도 해요. 통을 흔드는 손의 버릇을 똑같이 맞춰 두는 셈이에요.

어디에 어울리고 어디에 안 어울리나

이야기, 광고 문구, 이름 후보처럼 여러 갈래를 보고 싶은 일에는 뽑기가 잘 어울려요. 같은 요청을 몇 번 돌리면 서로 다른 안이 쌓여요.

값을 정리하거나 형식이 정해진 문서를 채우는 일에는 흔들림이 방해가 돼요. 이럴 때는 통이 한 그림으로 거의 채워지도록 설정을 조이거나, 아예 1등만 고르게 해 두는 편이 확인하기 편해요.

어느 쪽이든 뽑기가 답의 사실 여부를 정하지는 않아요. 통에 잘못된 카드가 여러 장 들어 있으면 어떤 방식으로 뽑아도 잘못된 말이 나와요. 뽑는 방식은 글의 결을 정할 뿐이에요.