에포크Epoch

한 바퀴 안에 걸음이 여러 번 들어 있어요

자료를 한 장씩 볼 때마다 값을 고치면 너무 흔들리고, 자료 전체를 다 본 뒤에 한 번만 고치면 너무 느려요. 그래서 자료를 적당한 크기의 묶음으로 나누고, 묶음 하나를 볼 때마다 값을 한 걸음씩 옮겨요.

자료가 만 장이고 묶음이 백 장씩이면 한 바퀴에 백 걸음이 들어가요. 열 바퀴를 돌면 천 걸음이 되죠. 그래서 학습이 얼마나 진행됐는지 이야기할 때는 바퀴 수와 걸음 수를 함께 봐요. 같은 바퀴 수라도 묶음을 작게 잡았다면 걸음은 훨씬 많이 밟은 셈이에요.

바퀴가 한 번 끝날 때마다 학습을 잠시 멈추고 성적을 재는 것도 이 구조 덕분이에요. 따로 떼어 둔 자료를 꺼내 지금까지 배운 것으로 풀어 보게 하고, 그 점수를 바퀴 번호와 함께 적어 둬요. 이 기록이 쌓이면 학습이 잘 가고 있는지 한눈에 보여요.

몇 바퀴를 도나요

정해진 답은 없어요. 자료가 적고 모델이 크면 몇십 바퀴를 돌기도 하고, 자료가 어마어마하게 많으면 한 바퀴만 돌고 끝내는 경우도 있어요. 아주 큰 언어 모델은 자료가 워낙 많아서 한 바퀴를 채 못 도는 일도 흔해요.

바퀴 수가 모자라면 모델이 아직 배울 것을 다 배우지 못해요. 반대로 너무 많이 돌면 자료에 있는 것을 통째로 외워 버려서, 처음 보는 자료 앞에서 오히려 성적이 떨어져요. 그래서 실제로는 바퀴 수를 넉넉히 잡아 두고, 성적이 나빠지기 시작하는 지점에서 멈추는 방법을 함께 써요.

바퀴마다 순서를 섞어요

매 바퀴 자료를 같은 순서로 넣으면 모델이 순서에 딸린 버릇까지 익혀 버려요. 앞쪽에 몰려 있던 종류를 먼저 배우고 뒤쪽 종류는 늘 나중에 배우는 식으로 치우치기도 해요.

그래서 한 바퀴를 시작할 때마다 자료를 섞고 묶음을 새로 짜요. 같은 자료라도 매 바퀴 조금씩 다른 조합으로 만나게 되니까, 발밑 기울기가 매번 살짝 달라지면서 어중간한 자리에 눌러앉을 위험도 줄어요.

자료를 모아 둔 순서에 뜻이 담겨 있는 경우가 많다는 점도 이유예요. 종류별로 정리해 둔 자료를 그대로 넣으면 한동안 같은 종류만 계속 보게 되고, 그 구간에서는 값이 한쪽으로만 쏠려요. 섞기 한 번이 이런 쏠림을 없애 줘요.

바퀴 수를 왜 따로 세나요

학습이 얼마나 진행됐는지를 시간으로 재면 기계 성능에 따라 값이 달라져요. 바퀴 수로 재면 자료를 몇 번 봤는지가 그대로 드러나서, 다른 환경에서 돌린 학습끼리도 비교할 수 있어요.

바퀴 수는 성적 그래프의 가로축으로도 쓰여요. 학습 자료에 대한 성적과 따로 떼어 둔 자료에 대한 성적을 바퀴마다 찍어 보면, 두 선이 언제부터 벌어지는지가 눈에 들어와요. 언제 멈출지를 정하는 근거가 여기서 나와요.