컨텍스트 윈도우Context Window

자리를 재는 단위는 조각이에요

건조대에서 양말과 수건이 다른 자리를 먹듯, 글도 길이만으로는 자리를 알 수 없어요. 모델은 글을 조각으로 썰어서 다루고, 그 조각 수가 곧 차지하는 자리예요.

같은 뜻을 담아도 한국어는 영어보다 조각이 더 많이 들어요. 그래서 같은 분량처럼 보이는 문서라도 한국어 쪽이 자리를 훨씬 많이 차지해요. 표나 목록이 많은 문서, 숫자가 잔뜩 들어간 자료도 생각보다 조각을 많이 먹어요.

한도가 "조각 몇 만 개"처럼 표시되는 이유가 여기에 있어요. 글자 수로는 정확히 셀 수 없거든요.

한 자리를 여럿이 나눠 써요

건조대에 널리는 게 오늘 빨래만은 아니에요. 모델 앞에 펼쳐지는 자리에는 서비스가 미리 넣어 둔 지시문, 지금까지 주고받은 대화, 이번에 넣은 질문, 그리고 붙여 넣은 문서가 모두 함께 올라가요.

앞으로 쓸 답을 놓을 자리까지 미리 비워 둬야 해요. 질문으로 자리를 꽉 채우면 답이 들어설 곳이 없어요. 긴 문서를 통째로 넣었더니 답이 갑자기 짧아지거나 도중에 끊기는 일이 이래서 생겨요.

넘치면 앞에서부터 걷혀요

대화가 길어져 자리가 모자라면 오래된 부분부터 밀려나요. 첫머리에 "존댓말은 쓰지 말아 줘"라고 일러 두었는데 한참 뒤에 다시 존댓말이 나오는 건, 그 부탁이 이미 건조대에서 걷혔기 때문이에요.

모델이 잊은 게 아니라 애초에 보지 못하는 상태가 된 거예요. 기억을 더듬는 기능이 있는 게 아니라, 매번 자리에 널려 있는 것만 처음부터 다시 읽는 방식이니까요.

밀려나는 방식은 서비스마다 달라요. 앞부분을 그냥 잘라 내기도 하고, 앞의 대화를 짧게 요약해 자리를 아끼기도 해요. 요약해 두면 줄거리는 남지만 세세한 표현은 사라져요.

자리가 넓어지면 좋기만 할까요

건조대를 큰 것으로 바꾸면 한 번에 더 널 수 있어요. 대신 방을 더 차지하죠. 컨텍스트 윈도우도 같아요. 자리가 넓을수록 넣을 수 있는 문서는 많아지지만, 매번 그 많은 내용을 처음부터 다시 읽어야 하니 답이 느려지고 비용도 함께 올라가요.

가운데가 흐려지는 문제도 있어요. 자리에 아주 많이 널려 있으면 처음과 끝은 잘 챙기면서 중간쯤 있는 내용을 놓치는 경향이 나타나요. 자리가 넓다고 그 안의 모든 내용을 똑같이 꼼꼼히 본다는 뜻은 아니에요.

자리를 아껴 쓰는 방법

가장 확실한 방법은 필요한 것만 널어 두는 거예요. 두꺼운 자료를 통째로 밀어 넣기보다, 질문과 관계있는 부분만 찾아서 넣으면 자리도 아끼고 답도 정확해져요.

긴 대화라면 중간에 한 번 정리해 주는 것도 좋아요. 지금까지의 요점을 몇 줄로 적어 새 대화를 시작하면, 걷어 낸 빨래를 개어 서랍에 넣어 두는 것과 같은 효과가 나요. 꼭 지켜야 할 조건은 대화 앞머리에만 두지 말고 필요할 때 다시 적어 주는 편이 안전해요.