탑 P 샘플링Top-p Sampling
위에서부터 잘라 둔 후보 안에서만 뽑는 방식
- 탑 P는 다음에 올 말 후보를 가능성 높은 순으로 줄 세운 뒤 위에서부터 잘라 두는 설정이에요.
- 자르는 기준은 개수가 아니라 가능성의 합이에요. 위에서부터 더해 정한 몫을 채우면 거기서 끊어요.
- 그래서 남는 후보 수가 상황마다 달라져요. 답이 뻔한 자리에서는 한둘, 애매한 자리에서는 수십 개가 남아요.
- 잘라 낸 뒤 남은 후보들 사이에서 뽑는 일은 샘플링이 하고, 후보 간 간격을 손보는 일은 온도가 해요.
- 값이 1에 가까우면 거의 자르지 않고, 낮출수록 안전하지만 표현이 반복돼요.
목차
1비유로 이해하기
지하 주차장에 들어가면 빈자리를 전부 후보로 놓고 고민하지는 않아요. 입구에서 가까운 순서대로 훑다가 "이 줄까지만 보자" 하고 선을 그어요. 그 선 안에 든 자리 중에서 하나를 골라 대고, 선 밖 구석 자리는 아예 쳐다보지 않아요.
AI가 다음 말을 고를 때도 같은 선을 그을 수 있어요. 후보를 가능성 높은 순으로 줄 세운 다음, 위에서부터 차례로 담다가 정해 둔 몫을 채우면 거기서 끊어요. 남은 후보는 후보 자격을 잃어요. 이렇게 뽑을 범위를 위에서부터 잘라 두는 방식이 탑 P예요.
같은 선을 그어도 그 안에 드는 자리 수는 날마다 달라져요. 만차에 가까운 날엔 선 안에 한 자리뿐이고, 한산한 날엔 열 자리가 넘게 들어와요. 선의 위치가 아니라 그날 주차장 사정이 후보 수를 정해요.
2자세히 알아보기
위에서부터 담다가 끊어요
순서는 세 도막이에요. 먼저 후보를 가능성이 큰 것부터 줄 세워요. 그다음 위에서부터 하나씩 담으면서 가능성을 더해 가요. 더한 값이 정해 둔 몫에 닿으면 그 자리에서 끊고, 담긴 후보만 남겨요.
몫을 0.9로 두었다면 위에서부터 더해 90%를 채울 때까지만 담는 거예요. 첫 후보 하나로 이미 90%가 넘으면 그 하나로 끝이에요. 반대로 고만고만한 후보가 늘어서 있으면 스무 개를 담아도 90%에 못 미쳐요.
끊고 남은 후보들은 그들끼리 다시 몫을 나눠 가져요. 잘려 나간 몫이 남은 후보들에게 돌아가는 셈이라, 원래 2등이던 후보의 기회가 조금 커져요.
후보 수가 상황마다 달라지는 게 핵심
"대한민국의 수도는"까지 썼다면 다음 말은 사실상 하나예요. 이때는 선을 어디에 긋든 후보가 하나만 남아요. 엉뚱한 말이 끼어들 자리가 없어요.
"주말에는 주로"까지 썼다면 사정이 달라요. 뒤에 올 수 있는 말이 수십 가지고 다들 비슷하게 그럴듯해요. 이럴 때는 선 안에 여러 후보가 들어와서 표현이 다양해져요.
이 성질 덕에 탑 P는 한 값으로 두 상황을 모두 감당해요. 뻔한 자리에서는 알아서 좁아지고 애매한 자리에서는 알아서 넓어져요. 만차인 날과 한산한 날에 같은 기준을 써도 무리가 없는 것과 같아요.
개수로 자르는 방식과 달라요
후보를 앞에서부터 몇 개만 남기는 방식도 있어요. 무조건 상위 40개처럼 개수를 정해 두는 쪽이에요. 만들기는 간단한데 상황을 못 봐요.
답이 뻔한 자리에서도 40개를 남기니 아래쪽에는 어색한 후보가 잔뜩 끼어 있어요. 반대로 후보가 고만고만하게 백 개쯤 늘어선 자리에서는 40개로 뭉텅 잘려서 쓸 만한 표현이 통째로 빠져요.
주차장으로 치면 앞에서 다섯 자리만 본다고 정해 둔 것과 같아요. 텅 빈 날에도 다섯 자리만 보고, 만차인 날에도 굳이 다섯 자리를 채워 보는 거예요. 탑 P는 개수 대신 몫으로 끊어서 이 문제를 피해요.
값을 어떻게 두나
대부분의 서비스는 0.9에서 0.95쯤을 기본으로 둬요. 아주 낮은 확률의 말들만 걷어 내면서 표현의 폭은 남기는 자리예요. 특별한 이유가 없으면 이 값을 건드리지 않는 편이 좋아요.
값을 낮추면 후보가 좁아져요. 사실 관계가 중요한 일이나 형식이 정해진 문서에서는 도움이 되지만, 너무 낮추면 같은 표현이 반복되고 글이 지루해져요. 값을 1로 두면 아무것도 자르지 않아요. 후보 전체가 그대로 남아요.
온도와 함께 움직이면 원인을 알기 어려워요. 한쪽을 기본값에 두고 다른 하나만 조금씩 옮기며 같은 문장을 여러 번 이어 써 보는 편이 감을 잡기 좋아요.
3조금 더 정확하게
탑 P 샘플링은 누클리어스 샘플링이라고도 불러요. 확률이 높은 순으로 후보를 정렬해 누적 확률이 기준값 이상이 되는 가장 작은 집합만 남기고, 남은 후보의 확률을 다시 합이 1이 되도록 나눈 뒤 그 안에서 뽑아요. 온도가 먼저 적용되어 확률 분포가 정해지고, 그 분포 위에서 자르기가 일어나는 순서예요.
비유가 어긋나는 지점도 있어요. 주차장은 한 번 자리를 정하면 그날의 선택이 끝나지만, 이 자르기는 글자 조각 하나를 고를 때마다 매번 새로 일어나요. 한 문장을 쓰는 동안에도 후보 수가 한 개였다 스무 개였다 계속 달라져요. 또 주차장에서는 어느 자리가 가까운지 눈으로 보이지만, 후보의 가능성은 모델 안에서 계산된 값이라 사람이 미리 알 수 없어요. 그래서 값을 조금 바꿨을 때 결과가 얼마나 흔들릴지는 직접 여러 번 돌려 봐야 알 수 있어요.
4직접 해보기
5흔한 오해
탑 P가 후보 개수를 정한다고 생각하기 쉽지만, 실제로는 가능성의 합으로 끊기 때문에 남는 개수는 자리마다 달라져요.
탑 P를 1로 두면 아무 말이나 튀어나온다고 여기기 쉽지만, 실제로는 자르지 않을 뿐이고 가능성대로 뽑는 원칙은 그대로예요.
온도와 탑 P를 함께 낮추면 더 정확해진다고 믿기 쉽지만, 실제로는 표현이 뻔해질 뿐 사실이 맞아진다는 보장은 없어요.
7한 줄 요약
그러니까탑 P는 주차장에서 "이 줄까지만 보자" 하고 선을 긋듯, 가능성 높은 순으로 후보를 담다가 정해 둔 몫에서 끊고 그 안에서만 뽑게 하는 방식이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02