Una palla pesante (momentum)
Perché è importante Il momentum è la soluzione singola più utile per le valli allungate, e quasi ogni ottimizzatore che userai ce l'ha.
Prima guardalo
Avvia l'animazione. La semplice discesa del gradiente fa zigzag attraverso la valle. Una palla pesante tiene parte della sua velocità precedente: gli zigzag si annullano (sinistra, destra, sinistra) mentre la spinta costante in discesa lungo la valle si somma passo dopo passo. Così sfreccia lungo il fondovalle.
Dagli un nome
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Con beta = 0.9 la palla ricorda più o meno le ultime 10 spinte.
Perché qui la semplice discesa è lenta
Su questa scodella la direzione ripida è 50 volte più ripida di quella dolce. Il learning rate della semplice discesa ha un tetto fissato dalla direzione ripida: sopra 2/50 = 0.04 i passi attraverso la valle crescono ed esplode. Appena sotto il tetto, a 0.039, fa zigzag attraverso la valle (ogni passo va oltre e atterra dall'altra parte) mentre avanza piano lungo di essa, perché 0.039 è un tasso minuscolo per la direzione dolce. Il momentum può usare un tasso più grande e mantenere la velocità lungo la valle: va oltre anche nella direzione ripida, ma quelle oscillazioni si annullano mentre le spinte lungo il fondo si sommano.
(Esattamente a lr = 1/50 = 0.02 non c'è nessuno zigzag: un passo atterra sul fondovalle, e il resto è il lento strisciare. Provalo.)
(La scena disegna una valle più dolce, 25 volte più ripida di traverso, con beta 0.5, così i suoi percorsi stanno nello schermo; i numeri di questa lezione sono per la valle 50 volte che programmi tu.)
Momentum: una somma progressiva dei gradienti recenti che smussa gli zigzag e costruisce velocità nelle direzioni costanti.
Parole e simboli di questa lezione
- momentum (beta)
- tenere parte della velocità dell'ultimo passo
Scrivi steps_plain(lr) e steps_momentum(lr, beta): partendo da (1, 1) sulla scodella allungata, conta i passi finché la distanza dal fondo è sotto 0.001 (massimo 20,000). Dai a ciascuno le proprie impostazioni buone: la semplice discesa a lr 0.039, appena sotto il suo tetto, e il momentum a lr 0.06 con beta 0.6. Il momentum deve richiedere al massimo un terzo dei passi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.