ReLU

값을 흘려보낼지 정하는 자리

뉴런 하나는 앞 층에서 온 값들을 저울질해 더해요. 그런데 그 결과를 곧바로 다음 층에 넘기지는 않아요. 넘기기 전에 규칙 하나를 통과시키는데, 그 자리에 앉는 것이 활성화 함수예요. ReLU는 그중 가장 널리 쓰이는 규칙이고, 하는 일은 문턱 하나로 끝나요. 더한 값이 0보다 작으면 0을 내보내고, 0보다 크면 들어온 값을 손대지 않고 그대로 내보내요.

이 꺾임이 없으면 층을 아무리 쌓아도 소용이 없어요. 곱하고 더하는 계산만 계속 이어 붙이면 결국 한 번의 곱셈과 덧셈으로 줄어들어 버리거든요. 중간에 꺾이는 자리를 넣어야 층마다 새로운 모양을 만들어 낼 수 있어요. ReLU는 0에서 한 번 꺾이는 아주 값싼 꺾임을 층마다 넣어 주는 셈이에요.

절반을 꺼 두면 오히려 가벼워져요

한 층에 뉴런이 수천 개 있다면 그중 절반쯤은 음수를 받아 0이 돼요. 0이 된 뉴런은 다음 층에 아무것도 보태지 않아요. 손해처럼 보이지만 실제로는 이득이에요. 매번 모든 뉴런이 조금씩 떠드는 대신, 그 입력에 관련 있는 뉴런만 목소리를 내는 상태가 되거든요.

관련 없는 신호가 꺼지면 남은 신호가 또렷해져요. 계산량도 줄고, 서로 다른 입력이 서로 다른 뉴런을 켜면서 역할 분담도 자연스럽게 생겨요. 이렇게 값의 상당수가 0으로 채워지는 성질을 희소하다고 불러요.

같은 입력이라도 어떤 뉴런은 켜지고 어떤 뉴런은 꺼지니까, 층을 지날 때마다 켜진 자리들의 조합이 달라져요. 곧은 조각들을 이어 붙여 굽은 경계를 만드는 일이 이 조합에서 나와요. 문턱 하나짜리 규칙이 층마다 쌓이면서 꽤 복잡한 모양까지 그려 내는 이유예요.

깊은 신경망을 실제로 학습되게 만들었어요

신경망은 답이 틀린 정도를 뒤에서 앞으로 되돌려 보내며 배워요. 이때 각 층의 활성화 함수는 되돌아오는 신호에 자기 몫을 곱해요. 예전에 쓰던 완만한 S자 곡선은 양끝에서 아주 작은 값을 곱했어요. 층을 열 개만 지나도 신호가 거의 사라져 앞쪽 층은 배우질 못했어요.

ReLU는 켜져 있는 쪽에서 신호를 줄이지 않고 그대로 통과시켜요. 층을 수십 개 지나도 앞쪽까지 배울 거리가 남아요. 깊은 신경망이 종이 위 이론에서 실제로 돌아가는 물건이 된 데에는 이 단순한 규칙의 몫이 커요.

잠들어 버리는 뉴런

약점도 있어요. 어떤 뉴런이 어떤 입력을 받아도 늘 음수만 내놓는 상태가 되면, 출력은 항상 0이고 되돌아오는 신호도 0이에요. 고칠 실마리가 끊긴 채 그대로 굳어요. 이런 상태를 죽은 뉴런이라고 불러요.

학습 속도를 너무 크게 잡았을 때 자주 생겨요. 한 번 크게 어긋난 조정이 뉴런을 음수 쪽 깊숙이 밀어 넣으면 되돌아올 힘이 없어요. 층 하나에서 이런 뉴런이 많아지면 그 층은 자리만 차지하고 아무 일도 하지 않는 셈이 돼요.

그래서 음수 구간을 완전히 0으로 만들지 않고 아주 살짝 기울여 두는 변형이 나왔어요. 조금이라도 신호를 남겨 두면 다시 깨어날 길이 생기거든요. 학습 속도를 낮게 잡거나 처음 값을 잘 흩어 두는 것만으로도 상당 부분 막을 수 있어요.