재 본 기울기 소실과 폭발
왜 중요한가 방금 이른 걸음의 기울기에 걸음마다 w가 한 번씩 곱해지는 걸 봤어요. 걸음이 많으면 그 곱은 아무것도 아닌 것으로 줄거나 폭발해요. 이게 평범한 RNN의 주된 약점이에요.
숫자 대신 가중치 행렬 W면, 한 걸음 거슬러 갈 때 기울기에 W의 전치가 곱해져요(tanh는 무시해요, 그건 더 줄일 수만 있어요). 한 걸음은 벡터를 많아야 W의 가장 큰 늘임, 그 스펙트럼 노름만큼 키울 수 있어요. 많은 걸음에 걸쳐 중요한 건 스펙트럼 반지름, W의 가장 큰 고윳값의 크기예요(모듈 2, "퍼짐이 어떻게 더해지는지, 그리고 행렬이 무엇을 늘이는지"): k걸음 뒤에 크기는 대략 r의 k제곱만큼 바뀌어 있어요. (아래에 쓰는 회전에서는 둘이 같은 숫자 r이에요.) r = 0.9로 50걸음: 0.005. r = 1.1로 50걸음: 117.
서로 다른 두 치료법
폭발하는 기울기에는 거친 치료법이 있어요: 자르기(모듈 5). 사라지는 기울기에는 그런 치료법이 없어요. 가중치의 전체 기울기는 시간을 거슬러 가는 모든 거리에 대한 합이에요. 먼 거리 항이 0.9의 50제곱처럼 줄면 가까운 거리 항에 묻히고, 합 전체를 키우면 잡음도 함께 커져요. 신경망은 그냥 먼 과거의 무언가가 중요했다는 걸 알 수 없어요. 거기의 치료법은 다른 아키텍처예요: 다음에 나올 LSTM.
이 레슨의 단어와 기호
- 순환 신경망 (RNN)
- 한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
- 기울기 소실 / 폭발
- 같은 행렬이 여러 번 곱해진 기울기는 아무것도 아닌 것으로 줄거나 폭발해요
- LSTM
- 메모리 셀 c와 게이트 셋(forget, input, output)이 있는 RNN
gradient_sizes(W, steps)를 쓰세요: 1로 된 기울기에서 시작해서 걸음마다 W.T를 한 번 곱하고, 노름의 리스트(걸음마다 하나)를 반환하세요. 그다음 50걸음 뒤의 노름(0.01 아래, 0.01과 100 사이, 100 위)으로 판단해서 세 행렬에 대해 verdicts를 "vanish", "steady", "explode"로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.