무거운 공(모멘텀)
왜 중요한가 모멘텀은 늘어난 골짜기에 대한 가장 쓸모 있는 단 하나의 해결책이고, 쓰게 될 거의 모든 옵티마이저에 들어 있어요.
먼저 보기
애니메이션을 재생하세요. 평범한 경사 하강법은 골짜기를 가로질러 지그재그해요. 무거운 공은 이전 속도의 일부를 지녀요: 지그재그는 상쇄되고(왼쪽, 오른쪽, 왼쪽) 골짜기를 따라 꾸준히 당기는 내리막 힘은 걸음마다 쌓여요. 그래서 골짜기 바닥을 따라 속도를 내요.
이름 붙이기
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
beta = 0.9면 공은 대략 마지막 10번의 밀기를 기억해요.
왜 여기서 평범한 하강이 느린지
이 그릇에서 가파른 방향은 완만한 방향보다 50배 가팔라요. 평범한 하강의 학습률은 가파른 방향에 막혀요: 2/50 = 0.04를 넘으면 골짜기를 가로지르는 걸음이 커져서 폭발해요. 한도 바로 아래 0.039에서는 골짜기를 가로질러 지그재그하면서(각 걸음이 지나쳐서 반대편에 떨어져요) 골짜기를 따라서는 기어가요, 0.039는 완만한 방향에는 아주 작은 학습률이니까요. 모멘텀은 더 큰 학습률을 쓰고도 골짜기를 따라 속도를 지킬 수 있어요: 가파른 방향에서 지나치기도 하지만, 그 흔들림은 상쇄되고 바닥을 따른 밀기는 쌓여요.
(정확히 lr = 1/50 = 0.02에서는 지그재그가 전혀 없어요: 한 걸음에 골짜기 바닥에 떨어지고, 나머지는 느린 기어가기예요. 해 보세요.)
(장면은 경로가 화면에 맞도록 가로로 25배 가파른 더 완만한 골짜기를 beta 0.5로 그려요. 이 레슨의 숫자는 코딩하는 50배 골짜기에 대한 거예요.)
모멘텀: 최근 기울기의 누적 합으로, 지그재그를 고르게 펴고 일관된 방향으로 속도를 쌓아요.
이 레슨의 단어와 기호
- 모멘텀 (beta)
- 마지막 걸음의 속도 일부를 지니기
steps_plain(lr)과 steps_momentum(lr, beta)를 쓰세요: 늘어난 그릇의 (1, 1)에서 시작해서, 바닥까지 거리가 0.001 아래가 될 때까지 걸음을 세세요(최대 20,000). 각각에 자기의 좋은 설정을 주세요: 평범한 하강은 한도 바로 아래인 lr 0.039, 모멘텀은 lr 0.06에 beta 0.6. 모멘텀은 걸음이 많아야 3분의 1이어야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.