가중치 (Weight) 뜻 — 비유로 쉽게

1비유로 이해하기

같은 시험을 봐도 성적표에 남는 무게는 달라요. 학교에서 한 과목 점수를 낼 때 중간고사는 30퍼센트, 기말고사는 40퍼센트, 수행평가는 30퍼센트처럼 반영 비율을 미리 정해 두거든요. 기말에서 10점을 올리는 편이 수행평가에서 10점을 올리는 것보다 최종 점수를 더 크게 끌어올려요.

반영 비율이 아주 작은 항목도 있어요. 출석 점수처럼 비율이 1퍼센트라면, 거기서 만점을 받아도 최종 점수는 거의 그대로예요. 반대로 지각이나 미제출처럼 점수를 깎는 항목은 잘할수록 오르는 게 아니라 쌓일수록 내려가요.

이 반영 비율이 가중치예요. 들어온 값이 시험 점수라면, 가중치는 그 점수를 최종 결과에 얼마나 반영할지 정하는 비율이에요. 다른 점이 하나 있어요. 학교의 반영 비율은 선생님이 학기 초에 정하지만, 모델의 비율은 수없이 채점해 보면서 스스로 맞춰 나가요.

2자세히 알아보기

연결마다 자기 몫의 숫자가 붙어요

가중치는 뉴런이 아니라 연결에 붙어요. 앞 층 뉴런 100개가 뒤 층 뉴런 하나로 이어지면 그 뉴런 하나에만 가중치가 100개 필요해요. 뒤 층 뉴런이 100개라면 두 층 사이에만 1만 개가 생겨요.

그래서 모델 크기를 말할 때 나오는 파라미터 수가 금세 억 단위로 불어나요. 이 숫자의 대부분이 가중치이고, 나머지 일부가 편향값이에요. 모델 파일 용량이 큰 이유도 이 숫자들을 전부 담아 두기 때문이에요.

부호가 방향을 정해요

가중치가 양수면 그 입력이 커질수록 결과도 커지는 쪽으로 밀려요. 음수면 반대로 밀려요. 켜는 힘만 있어서는 판단이 만들어지지 않아요. 무언가를 아니라고 판정하려면 끌어내리는 힘도 있어야 해요.

메일이 광고인지 가리는 모델을 떠올리면 이해하기 쉬워요. 특정 낱말이 나오면 광고 쪽으로 세게 밀고, 아는 사람의 주소에서 왔다는 신호가 있으면 반대쪽으로 당겨요. 두 힘이 겹쳐진 뒤 남은 방향이 그 뉴런의 판단이 돼요.

크기가 클수록 예민해져요

가중치의 절대값이 크면 입력이 조금만 흔들려도 출력이 크게 요동쳐요. 학습 데이터에는 잘 맞지만 처음 보는 데이터에서 무너지는 과적합이 이런 식으로 생겨요.

그래서 학습할 때 일부러 가중치가 지나치게 커지지 않도록 억제하는 장치를 함께 써요. 큰 값에 벌점을 매기는 방식이 대표적이에요. 반대로 값이 모두 0에 가깝게 눌리면 아무 신호도 지나가지 못해요. 학습은 이 두 극단 사이에서 적당한 크기를 찾아가는 과정이에요.

학습은 이 숫자를 고치는 일이에요

처음 만든 모델의 가중치는 아무 의미 없는 무작위 값이에요. 이 상태로 답을 내면 당연히 엉망이에요. 정답과 얼마나 어긋났는지 재고, 어긋남을 줄이려면 각 가중치를 어느 쪽으로 얼마나 밀어야 하는지 계산해서 조금씩 옮겨요. 이 일을 수백만 번 반복하면 숫자들이 제자리를 찾아가요.

한 번에 크게 옮기지 않는 게 핵심이에요. 한 번에 많이 옮기면 이번 데이터에만 맞춰 이리저리 튀고, 너무 조금 옮기면 끝없이 오래 걸려요. 얼마나 옮길지를 정하는 값이 학습률이에요.

다 배운 뒤에는 고정돼요

학습이 끝나면 가중치는 그 자리에 굳어요. 우리가 챗봇에 말을 걸 때 모델 안의 숫자가 바뀌지는 않아요. 같은 질문에 답이 매번 조금씩 달라지는 것은 가중치가 변해서가 아니라, 다음 낱말을 고를 때 약간의 무작위성을 섞기 때문이에요.

모델을 다시 손보려면 학습을 한 번 더 돌려야 해요. 전체를 다시 학습시키는 대신 일부만 살짝 고치는 방식이 파인튜닝이고, 원래 숫자는 그대로 두고 옆에 작은 보정용 숫자 뭉치만 얹는 방식도 널리 쓰여요.

3조금 더 정확하게

가중치는 층과 층 사이를 잇는 숫자 표예요. 한 층의 계산은 입력값 묶음과 이 표를 곱하는 행렬 곱으로 한 번에 처리돼요. 그래픽카드가 잘하는 일이 바로 이 대량의 곱셈과 덧셈이라, 모델 학습에 그래픽카드를 쓰는 거예요.

성적 비율 비유가 어긋나는 지점도 있어요. 학교의 반영 비율은 모두 더하면 100퍼센트가 되지만, 가중치는 합이 정해져 있지 않아요. 음수도 되고, 1보다 커질 수도 있어요. 또 반영 비율은 사람이 뜻을 알고 정하지만, 가중치 하나하나에는 사람이 읽을 수 있는 의미가 없어요. 어떤 뉴런에 붙은 어떤 값이 무엇을 뜻하는지 대개 설명하기 어려워요.

값을 저장하는 방식도 성능에 영향을 줘요. 정밀도를 낮춰 더 작은 자리수로 저장하면 모델 용량과 메모리 사용량이 크게 줄어드는데, 이 기법이 양자화예요. 정확도를 조금 내주는 대신 노트북이나 휴대폰에서도 모델을 돌릴 수 있게 돼요.

4직접 해보기

텐서플로 플레이그라운드 ailearn.space 학습을 돌리면 연결선의 굵기와 색이 바뀌어요. 그 굵기가 바로 가중치예요

5흔한 오해

가중치를 사람이 하나씩 정해 준다고 생각하기 쉽지만, 실제로는 무작위 값에서 시작해 학습이 스스로 맞춰 나가요.
가중치가 클수록 좋은 모델이라고 여기기 쉽지만, 실제로는 값이 지나치게 커지면 학습 데이터에만 맞는 예민한 모델이 돼요.
가중치 하나하나에 뜻이 있다고 생각하기 쉽지만, 실제로는 대부분 사람이 읽어 낼 수 없는 숫자이고 의미는 여러 값에 흩어져 있어요.

7한 줄 요약

그러니까가중치는 입력마다 곱해지는 중요도이고, 학습이란 이 숫자를 정답 쪽으로 조금씩 밀어 제자리를 찾아 주는 일이에요.

이 비유가 이해에 도움이 됐나요?

잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02