옵티마이저Optimizer

방향만 알아서는 손해가 커요

기울기는 지금 자리에서 어느 쪽이 내리막인지 알려 줘요. 그런데 그 방향으로 곧이곧대로만 움직이면 낭비가 생겨요. 특히 한쪽으로는 가파르고 다른 쪽으로는 완만한 좁고 긴 골짜기에서 그래요.

이런 자리에서는 가파른 쪽으로 크게 튕겨 나갔다가 되돌아오기를 반복하면서, 정작 완만한 쪽으로는 아주 조금씩만 나아가요. 골짜기를 따라 쭉 내려가야 하는데 벽에 부딪히며 지그재그로만 움직이는 셈이죠. 걸음 수는 잔뜩 쓰는데 실제로 내려간 깊이는 얼마 안 돼요.

옵티마이저는 기울기를 그대로 쓰지 않고 한 번 손질해서 써요. 지난 걸음들을 기억해 두었다가 지금 기울기와 섞어 실제 이동량을 만들어요.

관성을 붙이면 흔들림이 줄어요

첫 번째 요령은 지난 걸음의 이동량을 일정 비율로 이어받는 거예요. 같은 방향으로 계속 가고 있었다면 이어받은 몫이 쌓여 걸음이 점점 커지고, 방향이 매번 뒤집히던 쪽은 서로 상쇄되어 잦아들어요.

골짜기에 대입하면 벽에 부딪혀 좌우로 흔들리던 움직임은 줄고, 골짜기를 따라 내려가는 움직임만 남아 속도가 붙어요. 얕은 자리를 만나도 실려 온 속도로 넘어가는 일이 생겨서, 어중간한 자리에 눌러앉을 위험도 줄어요.

이어받는 비율은 보통 지난 몫을 대부분 살리는 정도로 잡아요. 너무 크게 잡으면 방향이 바뀐 뒤에도 한참을 옛 방향으로 밀려가고, 너무 작게 잡으면 관성을 붙이지 않은 것과 다를 바가 없어져요.

방향마다 보폭을 다르게 잡아요

두 번째 요령은 값마다 걸음 폭을 따로 관리하는 거예요. 지금까지 그 값이 얼마나 크게 흔들려 왔는지를 기록해 두었다가, 많이 흔들린 값은 폭을 줄이고 거의 움직이지 않던 값은 폭을 키워요.

이 요령은 자주 안 나오는 특징을 다룰 때 특히 도움이 돼요. 어쩌다 한 번 등장하는 특징에 붙은 값은 갱신될 기회가 적은데, 그럴 때 폭을 키워 주면 몇 안 되는 기회를 제대로 쓸 수 있어요. 널리 쓰이는 옵티마이저인 아담은 이 두 요령을 함께 써요.

그래도 기준 폭은 사람이 정해요

옵티마이저가 알아서 폭을 조절해 준다고 해서 학습률이 필요 없어지지는 않아요. 방향마다 조절하는 값은 어디까지나 배율이고, 그 배율이 곱해질 기준선은 여전히 사람이 적어 넣어요. 기준선이 크면 요령이 좋아도 널을 뛰어요.

그래서 실무에서는 널리 쓰이는 옵티마이저를 기본으로 두고 학습률만 몇 가지 바꿔 가며 맞추는 순서를 많이 써요. 옵티마이저를 바꾸는 것보다 학습률을 바로잡는 쪽이 결과를 더 크게 흔드는 일이 흔하거든요.