Uma bola pesada (momentum)
Por que isso importa Momentum é a correção mais útil para vales alongados, e quase todo otimizador que você vai usar tem isso.
Veja primeiro
Reproduza a animação. O gradiente descendente simples faz zigue-zagues pelo vale. Uma bola pesada mantém parte de sua velocidade anterior: os zigue-zagues se cancelam (esquerda, direita, esquerda) enquanto a puxada constante para baixo ao longo do vale se soma passo após passo. Assim, ela acelera pelo fundo do vale.
Nomeie isso
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Com beta = 0.9 a bola lembra aproximadamente os últimos 10 empurrões.
Por que o gradiente descendente simples é lento aqui
Nesta bacia, a direção íngreme é 50 vezes mais íngreme que a suave. A taxa de aprendizado da descida plana é limitada pela direção íngreme: acima de 2/50 = 0.04 os steps pelo vale crescem e explodem. Logo abaixo do limite, em 0.039, ele faz zigue-zague pelo vale (cada step ultrapassa e cai no outro lado) enquanto rasteja por ele, porque 0.039 é uma taxa minúscula para a direção suave. Momentum pode usar uma taxa maior e manter sua velocidade ao longo do vale: ele ultrapassa na direção íngreme também, mas esses balanços se cancelam enquanto os impulsos ao longo do chão se somam.
(Exatamente em lr = 1/50 = 0.02 não existe nenhum zigzag: um step cai no fundo do vale, e o resto é o avanço lento. Tente isso.)
(A cena desenha um vale mais suave, 25 vezes menos íngreme, com beta 0.5, para que seus caminhos caibam na tela; os números nesta lição são para o vale de 50 vezes que você codifica.)
Momentum: uma soma acumulada de gradientes recentes que suaviza zigue-zagues e ganha velocidade em direções consistentes.
Palavras e símbolos nesta lição
- momentum (beta)
- mantendo parte da velocidade do último passo
Escreva steps_plain(lr) e steps_momentum(lr, beta): começando em (1, 1) na tigela esticada, conte steps até que a distância para o fundo seja menor que 0.001 (máximo 20.000). Dê a cada um suas próprias boas configurações: plain descent em lr 0.039, logo abaixo do seu cap, e momentum em lr 0.06 com beta 0.6. Momentum deve precisar de no máximo um terço dos steps.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.