은닉층Hidden Layer

숨긴 게 아니라 손이 닿지 않는 자리

은닉이라는 말이 오해를 자주 불러요. 무언가를 감춰 두었다는 뜻이 아니에요. 입력층은 우리가 값을 넣는 자리이고 출력층은 우리가 답을 읽는 자리인데, 그 사이 층들은 우리가 값을 넣지도 읽지도 않아요. 바깥에서 직접 손댈 일이 없어서 은닉이라고 불러요.

값을 못 보는 것도 아니에요. 원하면 중간 층의 값을 꺼내 볼 수 있어요. 다만 그 숫자들이 사람이 알아볼 수 있는 이름표를 달고 있지 않을 뿐이에요. 학습이 스스로 정한 방식으로 정리해 둔 것이라 사람의 말로 옮기려면 따로 품이 들어요.

층을 지날수록 다루는 단위가 커져요

한 층을 지난다는 것은 앞 층의 값들을 저울질해 더한 뒤 문턱 규칙을 한 번 통과시키는 일이에요. 이 과정을 거치면 앞 층에서 흩어져 있던 신호들이 몇 갈래로 묶여요. 이렇게 묶인 갈래를 특징이라고 불러요.

사진을 다루는 신경망에서 이 흐름이 잘 보여요. 앞쪽 은닉층은 밝기가 갑자기 바뀌는 자리, 그러니까 모서리 정도를 잡아내요. 다음 층은 그 모서리들을 모아 둥근 곡선이나 격자 무늬를 잡고, 더 뒤에서는 바퀴나 창문 같은 덩어리를 잡아요. 마지막 층에 가서야 자동차인지 아닌지를 답해요.

중요한 건 이 순서를 사람이 정해 주지 않았다는 점이에요. 어느 층이 무엇을 맡을지는 학습이 스스로 나눠요. 관리실 안쪽 자리들이 일을 나눠 맡듯이, 층마다 자기가 잘하는 정리 방식을 찾아가요.

은닉층이 없으면 못 푸는 문제

은닉층이 하나도 없으면 입력에서 곧장 출력으로 이어져요. 이런 구조는 곧은 경계 하나로 나눌 수 있는 문제만 풀 수 있어요. 두 조건 중 정확히 하나만 참일 때 답이 참이 되는 문제처럼, 곧은 선 하나로는 도저히 가를 수 없는 배치가 세상에는 흔해요.

은닉층을 하나만 넣어도 사정이 달라져요. 중간 자리들이 각자 곧은 경계를 하나씩 그리고, 출력층이 그 결과들을 다시 조합하거든요. 곧은 조각들을 이어 붙여 굽은 경계를 만드는 셈이에요. 층을 더 쌓으면 앞 층이 만든 조각을 다시 조합할 수 있어서, 같은 개수의 칸으로도 훨씬 복잡한 모양을 그릴 수 있어요.

몇 층을 몇 칸으로 쌓을까

층 수를 깊이, 한 층의 칸 수를 너비라고 불러요. 둘 다 사람이 학습 전에 정하는 값이에요. 깊게 쌓으면 단계를 나눠 생각하는 데 유리하고, 넓게 두면 한 단계에서 여러 갈래를 동시에 살피는 데 유리해요.

무작정 늘리면 되는 것도 아니에요. 층이 깊어질수록 되돌아오는 학습 신호가 앞쪽까지 닿기 어려워지고, 계산과 메모리도 그만큼 더 들어요. 배울 자료에 비해 은닉층이 지나치게 크면 문제 푸는 요령 대신 자료를 외워 버리기도 해요. 그래서 깊이와 너비는 자료의 양과 계산 자원에 맞춰 조금씩 시험해 가며 정해요.