2층 신경망의 역전파, 손으로
왜 중요한가 이 레슨이 진짜 신경망에 대한 역전파의 전부예요. 이 뒤로는 딥러닝 라이브러리의 어떤 것도 마법이 아니에요.
먼저 보기
애니메이션을 재생하세요. 오차는 출력에서 (softmax 빼기 원-핫)으로 시작해요. 두 번째 층을 거슬러 흐르고, ReLU가 꺼져 있던 곳에서 막히고, 첫 번째 층을 거쳐 흐르고, 모든 가중치에 기울기를 남겨요.
순방향 단계
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
모양을 맞춰 가는 역방향 단계
이걸 쉽게 만드는 요령: 모든 기울기는 그게 속한 것과 같은 모양을 가져요. 모양을 알면, 조각들을 맞게 곱하는 방법은 보통 하나뿐이에요. 처음 두 단계를 풀어 보면:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
나머지는 여러분 몫이에요. 각각 가져야 할 모양에서 구하세요:
db2: 모양 (classes,). 각 편향은 모든 행에 더해졌어요.dH: 모양 (n, hidden), H와 같아요. dZ와 W2에서 와요.dH_pre: 모양 (n, hidden). ReLU는 켜져 있던 곳에서 입력을 통과시키고 다른 곳에서는 막았어요.dW1과db1: W2와 b2에 대한 것과 같은 두 단계, 한 층 아래에서.
요약 역방향은 순방향을 거꾸로 하면서 각 단계의 국소 기울기를 곱하는 거예요, 모양을 안내자 삼아서요.
이 레슨의 단어와 기호
- 가중치 (w, W), 편향 (b)
- 뉴런이 배우는 숫자. 편향은 출력을 옮겨요
- ReLU
- max(0, z): 양수는 남기고, 음수는 0으로 만들어요
- 원-핫
- 진짜 클래스에만 1이 하나 있는 0들
- 역전파
- 모든 가중치의 기울기를 얻으려고 거꾸로 돌린 연쇄 법칙
(loss, grads)를 반환하는 forward_backward(X, y, W1, b1, W2, b2)를 쓰세요. grads는 키가 W1, b1, W2, b2인 딕셔너리예요. 숨겨진 테스트는 모든 기울기를 살짝 밀기와 대조해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.