Conteúdo do curso Lição 68 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

Uma bola pesada (momentum)

Por que isso importa Momentum é a correção mais útil para vales alongados, e quase todo otimizador que você vai usar tem isso.

Veja primeiro

Reproduza a animação. O gradiente descendente simples faz zigue-zagues pelo vale. Uma bola pesada mantém parte de sua velocidade anterior: os zigue-zagues se cancelam (esquerda, direita, esquerda) enquanto a puxada constante para baixo ao longo do vale se soma passo após passo. Assim, ela acelera pelo fundo do vale.

Nomeie isso

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

Com beta = 0.9 a bola lembra aproximadamente os últimos 10 empurrões.

Por que o gradiente descendente simples é lento aqui

Nesta bacia, a direção íngreme é 50 vezes mais íngreme que a suave. A taxa de aprendizado da descida plana é limitada pela direção íngreme: acima de 2/50 = 0.04 os steps pelo vale crescem e explodem. Logo abaixo do limite, em 0.039, ele faz zigue-zague pelo vale (cada step ultrapassa e cai no outro lado) enquanto rasteja por ele, porque 0.039 é uma taxa minúscula para a direção suave. Momentum pode usar uma taxa maior e manter sua velocidade ao longo do vale: ele ultrapassa na direção íngreme também, mas esses balanços se cancelam enquanto os impulsos ao longo do chão se somam.

(Exatamente em lr = 1/50 = 0.02 não existe nenhum zigzag: um step cai no fundo do vale, e o resto é o avanço lento. Tente isso.)

(A cena desenha um vale mais suave, 25 vezes menos íngreme, com beta 0.5, para que seus caminhos caibam na tela; os números nesta lição são para o vale de 50 vezes que você codifica.)

Momentum: uma soma acumulada de gradientes recentes que suaviza zigue-zagues e ganha velocidade em direções consistentes.

Palavras e símbolos nesta lição
momentum (beta)
mantendo parte da velocidade do último passo
Sua vez

Escreva steps_plain(lr) e steps_momentum(lr, beta): começando em (1, 1) na tigela esticada, conte steps até que a distância para o fundo seja menor que 0.001 (máximo 20.000). Dê a cada um suas próprias boas configurações: plain descent em lr 0.039, logo abaixo do seu cap, e momentum em lr 0.06 com beta 0.6. Momentum deve precisar de no máximo um terço dos steps.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.