시간을 거슬러 가는 역전파는 평범한 역전파예요
왜 중요한가 "시간을 거슬러 가는 역전파"는 새 알고리즘처럼 들려요. 아니에요: 반복문을 펼치면 층들이 가중치 한 벌을 공유하는 깊은 신경망에서의 역전파예요.
보기
애니메이션을 재생하세요. 나란히 그린 RNN의 세 걸음은 층 셋이에요. 같은 가중치 w가 각각에 나와요. 역방향에서 w의 기울기는 모든 사본에서 몫 하나씩을 모아요, 모듈 4 엔진에서 여러 번 쓰인 노드와 똑같이요.
작은 숫자
숫자 하나짜리 선형 RNN: h_t = w h_(t-1) + x_t, h_0 = 0에서 시작, 손실 = h_3. 입력 1, 2, 3이고 w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. 거슬러 가면 dL/dh2 = w = 0.5, dL/dh1 = w 제곱 = 0.25. w의 각 사본은 (그 출력에서의 기울기) 곱하기 (그게 곱한 h)를 보태요: 1 곱하기 h2 + 0.5 곱하기 h1 + 0.25 곱하기 h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT: 시간을 거슬러 가는 역전파. 걸음들을 펼치고 역전파하면서, 가중치를 공유하는 모든 걸음의 기울기를 더해요.
이 레슨의 단어와 기호
- 순환 신경망 (RNN)
- 한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
- 시간을 거슬러 가는 역전파 (BPTT)
- 걸음들을 펼치고 역전파하면서, 가중치를 공유하는 모든 걸음의 기울기를 더하기
h_0 = 0이고 손실이 h_T(마지막 상태)인 숫자 하나짜리 RNN h_t = w * h_(t-1) + x_t에 대해, 걸음들을 거슬러 걸으며 dL/dw를 반환하는 bptt(xs, w)를 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.