체크포인트Checkpoint

왜 중간에 옮겨 꽂아 두나요

큰 모델의 학습은 며칠에서 몇 주씩 걸려요. 그동안 정전이 나기도 하고, 빌려 쓰던 계산 자원의 시간이 끝나기도 하고, 사소한 오류로 프로그램이 멈추기도 해요. 저장본이 없으면 그 순간까지의 시간과 비용이 모두 풀린 코처럼 사라져요.

되돌릴 수 있다는 것도 큰 이유예요. 학습을 길게 돌리다 보면 어느 지점을 넘어서면서 오히려 나빠지는 일이 흔해요. 회차마다 코를 옮겨 두었다면 가장 좋았던 회차를 꺼내 쓰면 그만이에요. 남겨 두지 않았다면 나빠진 결과를 그냥 받아들이거나 처음부터 다시 돌려야 해요.

설정을 바꿔 여러 갈래로 실험할 때도 쓸모가 있어요. 중간 저장본 하나를 여러 벌 복사해 각각 다른 설정으로 이어 돌리면, 앞부분을 되풀이하지 않고도 여러 갈래를 비교할 수 있어요.

무엇이 함께 있어야 이어 뜰 수 있나요

가장 중요한 것은 모델 안의 값들이에요. 학습이 지금까지 맞춰 놓은 숫자 뭉치예요. 이것만 있으면 그 시점의 모델로 답을 내는 일은 할 수 있어요.

그런데 이어서 학습하려면 그것만으로는 모자라요. 지금이 몇 번째 회차인지, 걸음 크기가 계획상 지금 얼마인지, 값을 옮기는 도구가 지금까지 쌓아 둔 기세가 어느 정도인지가 함께 있어야 해요. 이 정보 없이 값만 들고 이어 가면 걸음이 처음처럼 커지거나 기세가 끊겨서 학습이 한동안 흔들려요. 코만 옮겨 꽂고 몇 단째인지 적어 두지 않으면 무늬가 어긋나는 것과 같아요. 답을 내기 위한 저장본과 이어 하기 위한 저장본은 담을 것이 달라요.

여분 바늘이 금방 모자라요

저장본은 생각보다 무거워요. 모델 안의 값이 수억 개니 하나가 수 기가바이트에 이르기도 하고, 이어 하기 위한 정보까지 담으면 두세 배로 불어나요. 회차마다 남기다 보면 저장 공간이 금세 바닥나요.

그래서 규칙을 정해 둬요. 가장 최근 것 몇 개만 남기고 오래된 것부터 지우되, 점수가 가장 좋았던 저장본은 지우지 않고 따로 표시해 두는 식이에요. 저장본 이름에 회차와 점수를 적어 두는 것도 이 때문이에요. 나중에 여러 개가 남았을 때 무엇이 어느 시점 것인지 알 수 없으면 꺼내 쓸 수가 없거든요.

남에게 건네는 것

학습을 마친 뒤 남에게 나눠 주는 것도 결국 이 저장본이에요. 이때는 이어 하기 위한 정보를 빼고 값만 담아 가볍게 만들어요. 받는 쪽은 대부분 답을 내는 데만 쓰니까요.

반대로 남이 올려 둔 저장본을 받아 자기 자료로 이어 학습하는 일도 흔해요. 맨땅에서 시작하는 대신 이미 많이 배운 상태에서 출발하는 셈이라 시간과 비용이 크게 줄어요. 널리 쓰이는 모델을 내려받아 손볼 때, 우리가 실제로 손에 넣는 것은 그 모델의 체크포인트 하나예요.