강의 계획 레슨 250개 중 101번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

모델은 어떻게 배우나

갓 만든 네트워크는 가중치가 무작위라 쓸모없어요. 훈련은 출력이 좋아질 때까지 그 가중치를 살살 미는 과정이에요. 두 가지 생각이 그것을 움직여요.

1. 손실 함수가 틀림을 재요

예측이 얼마나 나쁜지 말하는 숫자 하나가 필요해요. 회귀에서 기본은 평균 제곱 오차(MSE)예요: 정답과 예측 사이 차이의 제곱을 평균 내요.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

제곱은 크게 빗나간 걸 더 세게 벌하고 모든 걸 양수로 지켜요. 손실은 낮을수록 좋고, 손실 0은 완벽한 맞춤이에요.

2. 경사 하강은 언덕을 굴러 내려가요

손실을 언덕진 표면으로, 가중치를 그 위의 위치로 그려 보세요. 기울기는 경사예요: 오르막, 즉 손실이 커지는 쪽을 가리켜요. 그러니 손실을 줄이려면 반대 방향으로 작은 걸음을 내디뎌요.

w = w - learning_rate * gradient

학습률은 걸음 크기예요. 이걸 수천 번 되풀이하면 가중치가 손실이 낮은 골짜기로 굴러 내려가요. 그 반복이 훈련의 전부예요.

MSE를 쓰는 장난감 모델 y = w * x에서 w에 대한 손실의 기울기는 mean(2 * (w*x - y) * x)가 돼요. 정확히 한 걸음 내디디고 손실이 떨어지는 걸 볼 거예요.

가중치 하나에서 네트워크 전체로

지난 레슨에서 만든 두 층 네트워크에는 가중치가 하나가 아니라 많아요. 그것을 훈련한다는 건 층마다 모든 가중치에 대한 손실의 기울기를 찾는 거예요. 그게 역전파예요: 손실에서 시작해 각 층을 거꾸로 거치며 연쇄 법칙을 적용해 모든 가중치의 경사를 얻고, 그다음 모두에 대해 한 번에 같은 내리막 걸음을 내디뎌요. 산수는 더 무겁지만, 생각은 아래에서 내디딜 한 걸음과 똑같아요. 진짜 코드에서는 결코 손으로 유도하지 않아요: PyTorch 같은 프레임워크가 순전파를 기록하고 loss.backward() 호출 한 번이 모든 기울기를 계산해 줘요. 메커니즘이 구체적으로 남도록 여기서는 가중치 하나짜리 판을 해요.

내 차례

mse(y_true, y_pred)(차이 제곱의 평균)를 구현하세요. 그다음 장난감 모델 y = w * x에 대해 loss_before를 계산하고, grad = np.mean(2 * (w*x - y) * x)와 w = w - lr * grad로 경사 하강 한 걸음을 내디딘 다음, loss_after를 계산하세요. 손실은 내려가야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.