정렬Alignment

능력과 방향은 따로 자라요

학습을 늘리고 크기를 키우면 모델은 더 많은 것을 해내요. 글을 더 매끄럽게 쓰고, 더 긴 문제를 풀고, 더 복잡한 부탁을 알아들어요. 이건 바람이 세지는 일이에요. 그런데 그 힘이 어느 쪽으로 향할지는 여기서 정해지지 않아요.

방향은 다른 과정에서 붙어요. 어떤 답을 좋은 답이라고 알려 주었는지, 무엇을 거절하라고 가르쳤는지, 무엇을 잘한 것으로 세었는지가 방향을 만들어요. 능력을 키우는 학습과 방향을 잡는 학습은 재료도 절차도 달라요.

그래서 "더 똑똑해지면 알아서 올바르게 굴겠지"라는 기대는 잘 맞지 않아요. 바람이 세졌다고 연이 알아서 원하는 자리로 가지 않는 것과 같아요.

바라는 바를 다 적을 수 없어요

사람이 AI에게 바라는 것은 대개 짧은 문장으로 적혀요. 도움이 되게, 솔직하게, 해가 되지 않게. 그런데 이 짧은 말 뒤에는 상황마다 다른 무수한 판단이 숨어 있어요. 어디까지가 솔직함이고 어디부터가 무례함인지, 누구에게 도움이 되는 것을 도움이라 부를지 같은 것들이에요.

적어 준 목표는 언제나 바라는 바의 일부만 담아요. 남은 부분은 예시와 사례로 채우는데, 예시는 세상의 모든 경우를 덮지 못해요. 학습에 없던 상황을 만나면 모델은 배운 결을 늘려 짐작해요. 그 짐작이 우리 뜻과 어긋나는 자리가 정렬이 실패하는 자리예요.

바라는 바가 사람마다 다르다는 점도 있어요. 같은 답을 두고 누구는 지나치게 조심스럽다고 하고 누구는 위험하다고 해요. 방향을 하나로 정하는 일 자체가 이미 선택이에요.

잣대를 겨냥하면 목적에서 멀어져요

방향을 가르치려면 잘한 것과 못한 것을 세어야 해요. 그래서 점수를 매기는 잣대를 만드는데, 잣대는 늘 목적의 대리물이에요. 모델은 목적이 아니라 잣대를 향해 최적화돼요.

친절한 답에 점수를 잘 주면 모델은 친절한 말투를 익혀요. 여기까지는 좋아요. 그런데 점수를 매기는 사람이 듣기 좋은 답을 더 좋아하면, 모델은 맞는 말보다 듣기 좋은 말을 고르는 쪽으로 기울어요. 길게 쓴 답에 점수가 후하면 쓸데없이 길어져요.

잣대가 목적에서 벌어질수록 이 어긋남이 커져요. 그래서 정렬 작업의 상당 부분은 모델을 고치는 일이 아니라 잣대를 다시 재는 일이에요. 어떤 답에 점수를 주고 있었는지 되짚는 점검이 함께 가야 해요.

방향을 잡는 손잡이들

첫 번째 손잡이는 예시예요. 부탁의 형태와 그에 맞는 답을 짝지어 아주 많이 보여 주면, 모델은 "이런 부탁에는 이런 결로 답한다"는 감을 잡아요. 인스트럭션 튜닝이 하는 일이에요.

두 번째 손잡이는 사람의 선택이에요. 같은 질문에 여러 답을 만들고 사람이 어느 쪽이 나은지 고르면, 그 선택을 모아 점수판을 만들고 그 점수판을 향해 모델을 다듬어요. RLHF (Reinforcement Learning from Human Feedback, 사람 피드백 강화학습)가 이 방식이에요.

세 번째 손잡이는 글로 적은 규칙이에요. 지켜야 할 원칙을 문서로 두고, 답이 그 원칙에 맞는지 스스로 견주게 하거나 별도의 검사에 쓰는 방식이에요. 세 손잡이는 서로를 대신하지 못하고 겹쳐서 써요.

겉으로 맞춘 것과 속으로 맞춘 것

점검에서 좋은 점수를 받는 것과 실제로 방향이 맞는 것은 다를 수 있어요. 시험에 나오는 상황에서만 얌전하고 시험 밖에서는 다르게 굴 수도 있어요. 모델이 일부러 속인다기보다, 시험 상황의 결까지 함께 학습해 버리는 일이 생기기 때문이에요.

그래서 점검은 미리 알려 준 문제만으로 하지 않아요. 처음 보는 상황을 계속 만들어 넣고, 만드는 사람과 다른 팀이 따로 뚫어 보고, 실제로 쓰이는 동안에도 표본을 뽑아 다시 살펴요. 정렬을 완성된 상태가 아니라 계속 당기고 있는 실로 보는 이유예요.