시그모이드Sigmoid

끝이 정해진 자에 옮겨 담기

신경망 안에서 오가는 값에는 정해진 범위가 없어요. 앞 층에서 온 값들을 저울질해 더하다 보면 아주 큰 수도, 아주 작은 음수도 나와요. 시그모이드는 그 값을 받아 언제나 0과 1 사이의 한 점으로 옮겨 놓아요. 아무리 큰 양수라도 1에 가까워질 뿐 1이 되지는 않고, 아무리 큰 음수라도 0에 다가갈 뿐 0에 닿지는 않아요.

순서는 흐트러지지 않아요. 더 큰 값이 들어오면 더 큰 결과가 나와요. 크기 비교는 그대로 두면서 눈금만 좁은 자로 옮겨 담는 셈이에요. 그래서 서로 다른 자리에서 나온 값들을 같은 기준으로 견주기 좋아요.

가운데는 예민하고 양끝은 둔해요

이 규칙의 성격은 위치마다 달라요. 가운데 근처에서는 들어온 값이 조금만 움직여도 결과가 크게 바뀌어요. 반면 양끝으로 멀어질수록 값이 두 배로 커지든 세 배로 커지든 결과는 거의 그대로예요.

이 성질이 판단하는 자리에서는 장점이에요. 애매한 경계에서는 조심스럽게 갈리고, 확실한 쪽은 확실하게 못을 박아 주니까요. 근거가 아주 강한 경우와 조금 더 강한 경우를 굳이 구분하지 않는 것도 자연스러워요. 이미 확실한 판단을 더 확실하게 만들어 봐야 얻을 것이 없거든요.

반대로 층 중간에서 값을 나르는 자리에서는 이 둔함이 그대로 흠이 돼요. 값이 조금만 커도 곧장 양끝에 붙어 버려서, 서로 다른 신호들이 거의 같은 값으로 뭉개지거든요.

가능성처럼 읽히는 결과

결과가 0과 1 사이라서 사람들은 이 값을 곧잘 확률처럼 읽어요. 스팸인지 아닌지, 불량인지 아닌지처럼 답이 둘 중 하나인 문제에서 마지막 자리에 시그모이드를 놓는 이유예요. 0.8이 나오면 그쪽으로 기운다고 보고, 0.5 근처면 판단을 미루거나 사람에게 넘겨요.

답이 여러 개 중 하나일 때는 사정이 달라요. 후보마다 따로 시그모이드를 씌우면 값들의 합이 1이 되지 않아 서로 견주기 어려워요. 이럴 때는 후보 전체를 한꺼번에 놓고 나누는 다른 규칙을 써요. 반대로 여러 꼬리표가 동시에 붙을 수 있는 문제라면 꼬리표마다 시그모이드를 따로 두는 편이 오히려 맞아요.

층 중간에서는 왜 밀려났을까

예전에는 층 중간에도 시그모이드를 썼어요. 문제는 양끝의 둔한 성질이었어요. 신경망은 틀린 정도를 뒤에서 앞으로 되돌려 보내며 배우는데, 이때 층마다 이 규칙의 기울기가 곱해져요. 양끝의 기울기는 0에 가깝고, 가장 가파른 가운데조차 1보다 한참 작아요.

작은 값을 층마다 계속 곱하면 어떻게 될까요. 층을 열 개만 지나도 되돌아오는 신호가 거의 사라져요. 앞쪽 층은 배울 거리를 받지 못한 채 처음 상태로 남아요. 깊은 신경망의 중간 자리를 문턱 하나짜리 단순한 규칙이 대신하게 된 배경이 여기에 있어요.