가지치기Pruning

왜 안 쓰는 연결이 그렇게 많을까요

모델은 처음부터 딱 맞는 크기로 만들어지지 않아요. 넉넉하게 크게 잡아 놓고 학습을 시켜요. 크게 잡아야 학습이 잘 풀리거든요. 그래서 학습이 끝나고 나면 실제로 답에 힘을 보태는 연결과, 값이 0 근처에서 맴돌기만 하는 연결이 섞여 있어요.

값이 0에 가까운 연결은 무엇을 곱해도 결과에 거의 보태지 못해요. 그런데도 계산할 때는 똑같이 자리를 차지하고 똑같이 곱셈을 한 번씩 시켜요. 이런 연결이 전체의 절반을 넘는 일도 드물지 않아요.

가지치기는 이 연결들을 골라 끊어요. 끊긴 자리는 0으로 남아, 계산할 때 아예 건너뛸 수 있는 표시가 돼요.

무엇을 덜어낼지 어떻게 고를까요

가장 흔한 기준은 값의 크기예요. 0에 가까운 순서대로 줄을 세워 아래쪽을 잘라요. 손이 적게 가고 꽤 잘 통해요.

값만 보면 놓치는 것도 있어요. 값이 작아도 하필 중요한 길목에 있으면 끊는 순간 뒤가 무너지거든요. 그래서 이 연결을 지웠을 때 답이 얼마나 흔들리는지 실제로 재 보고 고르기도 해요. 층마다 잘라도 되는 양이 다르다는 점도 중요해요. 앞쪽 층은 대체로 여유가 없고, 뒤쪽 층은 넉넉한 편이에요.

조금 자르고 다시 익혀요

한 번에 크게 자르면 답이 눈에 띄게 나빠져요. 그래서 조금 자르고, 남은 연결로 다시 짧게 학습시켜 빈자리를 메우게 해요. 이 두 단계를 여러 번 되풀이해요.

같은 양을 잘라도 이 방식으로 하면 성능 손실이 훨씬 적어요. 남은 연결들이 사라진 연결이 하던 몫을 조금씩 나눠 맡거든요. 반대로 재학습 없이 잘라 놓고 끝내면, 잘라낸 양에 비례해 답이 무너져요.

흩어진 가지치기와 통째 가지치기

연결을 하나하나 골라 끊으면 남은 연결이 표 여기저기에 흩어져요. 지워진 칸이 많아도 표의 모양은 그대로라, 보통의 계산 장치는 여전히 표 전체를 훑어요. 용량은 줄지만 속도는 기대만큼 안 붙는 일이 흔해요.

그래서 줄이나 뭉치를 통째로 걷어내는 방식을 함께 써요. 안 쓰는 뉴런 하나를 통째로 빼거나, 이미지 모델에서 거의 반응하지 않는 필터를 통째로 빼는 식이에요. 표가 실제로 작아지니 계산도 진짜로 줄어요. 대신 통째로 걷어내는 만큼 성능이 더 크게 흔들려서 잘라내는 양은 더 조심스러워요.

양자화와 무엇이 다를까요

둘 다 모델을 가볍게 만들지만 손대는 곳이 달라요. 양자화는 숫자를 하나도 안 버리고 적는 눈금만 성기게 바꿔요. 가지치기는 눈금은 그대로 두고 숫자의 개수를 줄여요.

메뉴판으로 보면 이렇게 갈려요. 양자화는 모든 메뉴를 그대로 두고 가격표를 백 원 단위로 반올림해 적는 일이고, 가지치기는 안 나가는 메뉴를 판에서 지우는 일이에요. 서로 방해하지 않아서, 먼저 지우고 남은 것을 반올림하는 식으로 함께 쓰기도 해요.