Programma Lezione 69 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

Una manopola del volume per ogni peso (RMSProp)

Perché è importante Il momentum smussa la direzione. RMSProp risolve l'altro problema: alcuni pesi ricevono gradienti enormi e altri minuscoli, quindi un solo learning rate non può andare bene per tutti.

RMSProp tiene, per ogni peso, una media progressiva del suo gradiente al quadrato: quanto è di solito forte il gradiente di quel peso. Poi divide ogni passo per la sua radice quadrata, come abbassare il volume sui pesi forti e alzarlo su quelli deboli.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

Sulla scodella allungata, la direzione ripida ha gradienti forti e viene abbassata, la direzione dolce viene alzata, e la scodella si comporta quasi come se fosse rotonda. Qui funziona perché le direzioni ripida e dolce della scodella sono allineate con i due pesi. Inclina la valle di 45 gradi, così ogni peso vede un misto di entrambe le direzioni, e una manopola del volume per peso non può separarle: RMSProp e Adam allora aiutano molto meno. Riscalano in base a quanto è forte il gradiente di ogni peso, non in base alla vera forma della valle.

eps: un numero minuscolo come 1e-8 che impedisce la divisione per zero.

Parole e simboli di questa lezione
momentum (beta)
tenere parte della velocità dell'ultimo passo
RMSProp
dividere il passo di ogni peso per quanto è di solito forte il suo gradiente
Adam (m, v, t)
momentum (m) più una manopola del volume per peso (v), corretti per i primi passi (t)
Tocca a te

Scrivi rmsprop(grad, start, lr, rho, steps, eps=1e-8) che restituisce la posizione finale. Il test nascosto confronta la tua posizione con quella di riferimento dopo qualche passo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.