가중치마다 볼륨 손잡이(RMSProp)
왜 중요한가 모멘텀은 방향을 고르게 펴요. RMSProp은 다른 문제를 고쳐요: 어떤 가중치는 기울기가 엄청나고 어떤 것은 아주 작아서, 학습률 하나가 그 모두에 맞을 수 없어요.
RMSProp은 가중치마다 기울기 제곱의 누적 평균을 지녀요: 그 가중치의 기울기가 보통 얼마나 시끄러운지. 그다음 각 걸음을 그것의 제곱근으로 나눠요, 시끄러운 가중치의 볼륨은 낮추고 조용한 가중치는 올리듯이요.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
늘어난 그릇에서 가파른 방향은 기울기가 시끄러워서 낮춰지고, 완만한 방향은 올려져서, 그릇이 거의 둥근 것처럼 행동해요. 여기서 되는 건 그릇의 가파른 방향과 완만한 방향이 두 가중치와 나란하기 때문이에요. 골짜기를 45도 기울여서 각 가중치가 두 방향의 섞임을 보게 하면, 가중치별 볼륨 손잡이는 그것들을 가를 수 없어요: 그러면 RMSProp과 Adam은 훨씬 덜 도움이 돼요. 그것들은 골짜기의 진짜 모양이 아니라 각 가중치의 기울기가 얼마나 시끄러운지로 크기를 바꿔요.
eps: 0으로 나누기를 막는 1e-8 같은 아주 작은 숫자.
이 레슨의 단어와 기호
- 모멘텀 (beta)
- 마지막 걸음의 속도 일부를 지니기
- RMSProp
- 각 가중치의 걸음을 그 기울기가 보통 얼마나 시끄러운지로 나누기
- Adam (m, v, t)
- 모멘텀(m) 더하기 가중치별 볼륨 손잡이(v), 초기 걸음에 대해 보정(t)
최종 위치를 반환하는 rmsprop(grad, start, lr, rho, steps, eps=1e-8)을 쓰세요. 숨겨진 테스트는 몇 걸음 뒤의 위치를 참고값과 비교해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.