강의 계획 레슨 246개 중 40번째 · 모듈 3: 뉴런에서 MLP까지
모듈 3: 뉴런에서 MLP까지

내리막 걷기(손으로 하는 경사 하강법)

왜 중요한가 손으로 가중치를 고르는 건 가중치 백만 개로 확장되지 않아요. 기울기는 모든 가중치에게 어느 쪽이 내리막인지 한꺼번에 알려 줘요.

이름 붙이기

손실 L = mean((X @ w + b - y) 제곱)에서 w1을 밀면 L은 2 * mean(error * x1)만큼 바뀌어요, error는 예측 빼기 실제 값이에요. 그게 w1에 대한 L의 도함수예요. 한꺼번에: grad_w = 2 * X.T @ error / n, 그리고 grad_b = 2 * mean(error).

쉬운 말로 읽기

크기가 큰 집에서 예측이 너무 높다면(error 양수), w1을 낮추는 게 도움이 되고, w1의 기울기는 양수이니 그걸 빼요. 각 단계: w = w - lr * grad_w, 여기서 학습률 lr이 걸음 크기를 정해요.

경사 하강법: "기울기를 계산하고, 그 반대로 작은 걸음을 딛기"를 되풀이하기. 학습률: 각 걸음의 크기.

곡선 맞히기

훈련을 실행하기 전에 my_guess에 단계 0, 10, 50, 200에서의 손실을 추측하세요. 코드가 추측을 실제 값 옆에 출력해요.

요약 기울기, 그 반대로 걸음, 되풀이.

이 레슨의 단어와 기호
가중치 (w, W), 편향 (b)
뉴런이 배우는 숫자. 편향은 출력을 옮겨요
학습률 (lr)
각 훈련 단계가 얼마나 큰지
내 차례

(grad_w, grad_b)를 반환하는 gradients(X, y, w, b)와, 0에서 시작해서 (w, b, losses)를 반환하는 train(X, y, lr, steps)를 쓰세요. losses는 각 단계 전의 손실을 담아요. 먼저 my_guess를 채우세요. 훈련된 손실은 lr 0.5와 시작 코드가 요구하는 201단계로 0.01 아래에서 끝나야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.