파라미터Parameter

손잡이를 돌리는 것은 학습이에요

모델을 처음 만들면 손잡이들은 아무 의미 없는 값으로 흩어져 있어요. 이 상태에서 문제를 풀리면 당연히 엉뚱한 답이 나와요. 학습은 그 엉뚱함의 크기를 재고, 어느 손잡이를 어느 쪽으로 얼마나 돌리면 다음번에 덜 틀릴지를 계산해 조금씩 옮기는 일이에요.

한 번에 크게 돌리지 않는 것이 중요해요. 크게 돌리면 이번 문제는 맞히지만 지난 문제를 다시 틀려요. 아주 조금씩 돌리기를 수없이 반복하면 여러 문제를 두루 잘 맞히는 자리로 서서히 옮겨 가요.

곱하는 손잡이와 더하는 손잡이

손잡이는 두 종류예요. 하나는 들어온 값에 곱해지는 값이에요. 이 값이 크면 그 입력을 중요하게 보고, 작으면 흘려듣고, 음수면 반대로 받아들여요. 어떤 신호에 얼마나 귀를 기울일지를 정하는 손잡이예요.

다른 하나는 계산이 끝난 뒤에 더해지는 값이에요. 곱하기만으로는 결과 전체를 위아래로 옮길 수 없거든요. 이 손잡이는 판단 기준선 자체를 올리거나 내려요. 후하게 볼지 인색하게 볼지를 정하는 손잡이인 셈이에요.

개수는 곱하는 쪽이 압도적으로 많아요. 앞 층의 칸과 뒤 층의 칸을 하나하나 잇는 값이라 층이 넓어지면 곱해서 늘어나거든요. 더하는 쪽은 뒤 층의 칸마다 하나씩만 붙어서 전체의 아주 작은 몫이에요.

개수가 곧 모델 크기예요

어떤 모델을 두고 크다, 작다를 말할 때 재는 것이 바로 이 손잡이 개수예요. 손잡이가 많을수록 담아 둘 수 있는 규칙이 세밀해지고, 미묘한 차이까지 구분할 여지가 생겨요. 대신 값을 담아 둘 저장 공간이 커지고, 실행할 때 메모리에 올려 둘 자리도 그만큼 필요해요.

무조건 많다고 좋아지지는 않아요. 배울 자료에 비해 손잡이가 지나치게 많으면 문제를 푸는 요령이 아니라 자료 자체를 외워 버려요. 그래서 자료의 양, 쓸 수 있는 계산 자원, 손잡이 개수를 서로 맞춰 정해요. 가벼운 기기에서 돌리려고 손잡이 값을 성글게 저장하거나 덜 쓰이는 손잡이를 덜어 내는 방법도 함께 써요.

사람이 정하는 값은 따로 있어요

학습 중에 값이 저절로 정해지는 것만 파라미터예요. 한 번에 얼마나 돌릴지, 자료를 몇 번 반복해 볼지, 층을 몇 개 쌓을지 같은 값은 사람이 학습을 시작하기 전에 미리 정해요. 이런 값은 하이퍼파라미터라고 따로 불러요.

둘의 차이는 누가 정하느냐예요. 조리사가 미리 정하는 것은 불 세기와 끓이는 시간이고, 맛을 보며 고쳐 나가는 것은 양념 배합이에요. 학습이 잘 안 될 때 손대야 할 곳은 대개 사람이 정해 둔 쪽이에요.