강의 계획 레슨 246개 중 127번째 · 모듈 11: 기억하는 신경망(RNN)
모듈 11: 기억하는 신경망(RNN)

시간을 거슬러 가는 역전파는 평범한 역전파예요

왜 중요한가 "시간을 거슬러 가는 역전파"는 새 알고리즘처럼 들려요. 아니에요: 반복문을 펼치면 층들이 가중치 한 벌을 공유하는 깊은 신경망에서의 역전파예요.

보기

애니메이션을 재생하세요. 나란히 그린 RNN의 세 걸음은 층 셋이에요. 같은 가중치 w가 각각에 나와요. 역방향에서 w의 기울기는 모든 사본에서 몫 하나씩을 모아요, 모듈 4 엔진에서 여러 번 쓰인 노드와 똑같이요.

작은 숫자

숫자 하나짜리 선형 RNN: h_t = w h_(t-1) + x_t, h_0 = 0에서 시작, 손실 = h_3. 입력 1, 2, 3이고 w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. 거슬러 가면 dL/dh2 = w = 0.5, dL/dh1 = w 제곱 = 0.25. w의 각 사본은 (그 출력에서의 기울기) 곱하기 (그게 곱한 h)를 보태요: 1 곱하기 h2 + 0.5 곱하기 h1 + 0.25 곱하기 h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: 시간을 거슬러 가는 역전파. 걸음들을 펼치고 역전파하면서, 가중치를 공유하는 모든 걸음의 기울기를 더해요.

이 레슨의 단어와 기호
순환 신경망 (RNN)
한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
시간을 거슬러 가는 역전파 (BPTT)
걸음들을 펼치고 역전파하면서, 가중치를 공유하는 모든 걸음의 기울기를 더하기
내 차례

h_0 = 0이고 손실이 h_T(마지막 상태)인 숫자 하나짜리 RNN h_t = w * h_(t-1) + x_t에 대해, 걸음들을 거슬러 걸으며 dL/dw를 반환하는 bptt(xs, w)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.