학습 방법58개
AI가 데이터에서 무언가를 배우는 방식이에요. 지도학습, 비지도학습, 강화학습, 파인튜닝, 과적합, 손실 함수, 경사하강법처럼 '학습한다'는 말 뒤에 숨은 과정을 하나씩 풀어요.
해 보고 받은 점수로 행동을 고쳐 가는 학습
검증 데이터Validation Set학습에 쓰지 않고 점검에만 쓰려고 떼어 둔 자료
경사하강법Gradient Descent오차가 낮아지는 쪽으로 조금씩 옮겨 가는 방법
과소적합Underfitting너무 단순해서 연습 자료조차 못 맞히는 상태
과적합Overfitting연습 문제 답만 외워 새 문제는 못 푸는 상태
교차 검증Cross-Validation자료를 조각내 돌아가며 점검하고 점수를 평균 내는 방법
군집화Clustering이름표 없이 비슷한 것끼리 모으는 일
규제화Regularization값이 지나치게 커지지 않게 벌점을 매기는 장치
기울기Gradient오차를 줄이려면 어느 쪽으로 얼마나 움직일지 알려 주는 신호
기울기 소실Vanishing Gradient배우라는 신호가 층을 거치며 희미해져 사라지는 현상
노이즈Noise섞여 든 얼룩이자 생성의 출발점
대조 학습Contrastive Learning같은 것끼리 당기고 다른 것끼리 밀어내며 배우기
데이터 누수Data Leakage채점용 정보가 학습 쪽으로 새어 드는 사고
데이터 증강Data Augmentation가진 자료를 변형해 가짓수를 늘리는 방법
드롭아웃Dropout학습 때 일부를 무작위로 쉬게 하는 방법
머신러닝Machine Learning규칙을 적어 주는 대신 예시로 찾아내게 하는 방법
모델 붕괴Model CollapseAI가 만든 것으로 다시 배워 다양성이 줄어드는 현상
모드 붕괴Mode Collapse만드는 쪽이 잘 통하는 한 가지만 계속 내놓는 상태
모방 학습Imitation Learning잘하는 쪽의 행동을 보고 그대로 따라 배우기
미니 배치Mini-Batch자료를 묶음으로 나눠 한 걸음씩 처리하는 방식
보상Reward행동한 뒤에 돌아오는 잘함·못함의 점수
비지도학습Unsupervised Learning정답 없이 자료 속 구조를 찾아내는 학습
사전 학습Pretraining쓰임새를 정하기 전에 기본기를 익혀 두는 단계
손실 함수Loss Function답과 얼마나 어긋났는지 재는 하나의 숫자
수렴Convergence더 나아지지 않고 값이 한자리에 머무는 상태
스케일링 법칙Scaling Law크기와 데이터를 늘릴 때 성능이 오르는 규칙
에이전트와 환경Agent & Environment행동하는 쪽과 그 행동에 반응하는 판
에포크Epoch학습 자료 전체를 한 번 훑는 단위
역전파Backpropagation오차를 뒤에서 앞으로 되짚어 몫을 나누는 절차
연합 학습Federated Learning자료를 모으지 않고 각자 배운 요약만 모으기
옵티마이저Optimizer기울기를 받아 값을 어떻게 옮길지 정하는 규칙
월드 모델World Model세상 돌아가는 규칙을 담아 두고 미리 돌려 보는 모형
유전 알고리즘Genetic Algorithm여러 후보를 섞고 조금 바꾸며 골라 가는 방법
인스트럭션 튜닝Instruction Tuning지시를 받으면 그에 맞춰 답하는 형식을 익히는 단계
일반화Generalization처음 보는 데이터에서도 실력이 유지되는 힘
자기지도학습Self-Supervised Learning자료 스스로 문제와 답을 만들어 배우는 방식
전이 학습Transfer Learning이미 익힌 기본기를 새 일에 옮겨 쓰는 방식
정렬AlignmentAI의 능력을 사람이 바라는 방향에 맞추는 일
정책Policy상황마다 무엇을 할지 정해 둔 행동 방침
조기 종료Early Stopping성적이 나빠지기 시작할 때 학습을 멈추기
준지도학습Semi-Supervised Learning답 붙은 조금과 안 붙은 잔뜩으로 배우는 방식
지도학습Supervised Learning정답이 붙은 예시로 규칙을 배우는 방식
지식 증류Knowledge Distillation큰 모델의 판단을 작은 모델에 옮겨 담는 방법
지역 최솟값Local Minimum더 낮은 곳이 있는데도 갇혀 버린 자리
체크포인트Checkpoint학습 도중 상태를 그대로 담아 둔 저장본
탐색과 활용Exploration vs Exploitation아는 것을 쓸지 새것을 해 볼지의 균형
파괴적 망각Catastrophic Forgetting새것을 배우다 예전 실력을 잃어버리는 현상
파인튜닝Fine-Tuning학습된 모델을 새 자료로 조금 더 다듬기
평균 제곱 오차Mean Squared Error빗나간 거리를 제곱해 평균 낸 벌점
하이퍼파라미터Hyperparameter학습을 시작하기 전에 사람이 정해 두는 값
학습Training예시를 보며 조절값을 조금씩 고쳐 가는 과정
학습 곡선Learning Curve회차가 늘수록 점수가 어떻게 변하는지 그린 선
학습률Learning Rate한 걸음에 값을 얼마나 옮길지 정하는 값
회귀Regression이어진 눈금 위의 숫자 하나를 말해 주는 일
DQNDeep Q-NetworkQ값 표를 신경망이 대신 기억하게 만든 방법
LoRA본체는 두고 작은 덧붙임만 학습하는 방법
Q-러닝Q-Learning행동마다 기대 점수를 적어 두고 고쳐 가는 방법
RLHF사람이 고른 선호로 답의 결을 다듬는 학습