Programma Lezione 68 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

Una palla pesante (momentum)

Perché è importante Il momentum è la soluzione singola più utile per le valli allungate, e quasi ogni ottimizzatore che userai ce l'ha.

Prima guardalo

Avvia l'animazione. La semplice discesa del gradiente fa zigzag attraverso la valle. Una palla pesante tiene parte della sua velocità precedente: gli zigzag si annullano (sinistra, destra, sinistra) mentre la spinta costante in discesa lungo la valle si somma passo dopo passo. Così sfreccia lungo il fondovalle.

Dagli un nome

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

Con beta = 0.9 la palla ricorda più o meno le ultime 10 spinte.

Perché qui la semplice discesa è lenta

Su questa scodella la direzione ripida è 50 volte più ripida di quella dolce. Il learning rate della semplice discesa ha un tetto fissato dalla direzione ripida: sopra 2/50 = 0.04 i passi attraverso la valle crescono ed esplode. Appena sotto il tetto, a 0.039, fa zigzag attraverso la valle (ogni passo va oltre e atterra dall'altra parte) mentre avanza piano lungo di essa, perché 0.039 è un tasso minuscolo per la direzione dolce. Il momentum può usare un tasso più grande e mantenere la velocità lungo la valle: va oltre anche nella direzione ripida, ma quelle oscillazioni si annullano mentre le spinte lungo il fondo si sommano.

(Esattamente a lr = 1/50 = 0.02 non c'è nessuno zigzag: un passo atterra sul fondovalle, e il resto è il lento strisciare. Provalo.)

(La scena disegna una valle più dolce, 25 volte più ripida di traverso, con beta 0.5, così i suoi percorsi stanno nello schermo; i numeri di questa lezione sono per la valle 50 volte che programmi tu.)

Momentum: una somma progressiva dei gradienti recenti che smussa gli zigzag e costruisce velocità nelle direzioni costanti.

Parole e simboli di questa lezione
momentum (beta)
tenere parte della velocità dell'ultimo passo
Tocca a te

Scrivi steps_plain(lr) e steps_momentum(lr, beta): partendo da (1, 1) sulla scodella allungata, conta i passi finché la distanza dal fondo è sotto 0.001 (massimo 20,000). Dai a ciascuno le proprie impostazioni buone: la semplice discesa a lr 0.039, appena sotto il suo tetto, e il momentum a lr 0.06 con beta 0.6. Il momentum deve richiedere al massimo un terzo dei passi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.