강의 계획 레슨 246개 중 48번째 · 모듈 3: 뉴런에서 MLP까지
모듈 3: 뉴런에서 MLP까지

2층 신경망의 역전파, 손으로

왜 중요한가 이 레슨이 진짜 신경망에 대한 역전파의 전부예요. 이 뒤로는 딥러닝 라이브러리의 어떤 것도 마법이 아니에요.

먼저 보기

애니메이션을 재생하세요. 오차는 출력에서 (softmax 빼기 원-핫)으로 시작해요. 두 번째 층을 거슬러 흐르고, ReLU가 꺼져 있던 곳에서 막히고, 첫 번째 층을 거쳐 흐르고, 모든 가중치에 기울기를 남겨요.

순방향 단계

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

모양을 맞춰 가는 역방향 단계

이걸 쉽게 만드는 요령: 모든 기울기는 그게 속한 것과 같은 모양을 가져요. 모양을 알면, 조각들을 맞게 곱하는 방법은 보통 하나뿐이에요. 처음 두 단계를 풀어 보면:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

나머지는 여러분 몫이에요. 각각 가져야 할 모양에서 구하세요:

  • db2: 모양 (classes,). 각 편향은 모든 행에 더해졌어요.
  • dH: 모양 (n, hidden), H와 같아요. dZ와 W2에서 와요.
  • dH_pre: 모양 (n, hidden). ReLU는 켜져 있던 곳에서 입력을 통과시키고 다른 곳에서는 막았어요.
  • dW1과 db1: W2와 b2에 대한 것과 같은 두 단계, 한 층 아래에서.

요약 역방향은 순방향을 거꾸로 하면서 각 단계의 국소 기울기를 곱하는 거예요, 모양을 안내자 삼아서요.

이 레슨의 단어와 기호
가중치 (w, W), 편향 (b)
뉴런이 배우는 숫자. 편향은 출력을 옮겨요
ReLU
max(0, z): 양수는 남기고, 음수는 0으로 만들어요
원-핫
진짜 클래스에만 1이 하나 있는 0들
역전파
모든 가중치의 기울기를 얻으려고 거꾸로 돌린 연쇄 법칙
내 차례

(loss, grads)를 반환하는 forward_backward(X, y, W1, b1, W2, b2)를 쓰세요. grads는 키가 W1, b1, W2, b2인 딕셔너리예요. 숨겨진 테스트는 모든 기울기를 살짝 밀기와 대조해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.