Una manopola del volume per ogni peso (RMSProp)
Perché è importante Il momentum smussa la direzione. RMSProp risolve l'altro problema: alcuni pesi ricevono gradienti enormi e altri minuscoli, quindi un solo learning rate non può andare bene per tutti.
RMSProp tiene, per ogni peso, una media progressiva del suo gradiente al quadrato: quanto è di solito forte il gradiente di quel peso. Poi divide ogni passo per la sua radice quadrata, come abbassare il volume sui pesi forti e alzarlo su quelli deboli.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Sulla scodella allungata, la direzione ripida ha gradienti forti e viene abbassata, la direzione dolce viene alzata, e la scodella si comporta quasi come se fosse rotonda. Qui funziona perché le direzioni ripida e dolce della scodella sono allineate con i due pesi. Inclina la valle di 45 gradi, così ogni peso vede un misto di entrambe le direzioni, e una manopola del volume per peso non può separarle: RMSProp e Adam allora aiutano molto meno. Riscalano in base a quanto è forte il gradiente di ogni peso, non in base alla vera forma della valle.
eps: un numero minuscolo come 1e-8 che impedisce la divisione per zero.
Parole e simboli di questa lezione
- momentum (beta)
- tenere parte della velocità dell'ultimo passo
- RMSProp
- dividere il passo di ogni peso per quanto è di solito forte il suo gradiente
- Adam (m, v, t)
- momentum (m) più una manopola del volume per peso (v), corretti per i primi passi (t)
Scrivi rmsprop(grad, start, lr, rho, steps, eps=1e-8) che restituisce la posizione finale. Il test nascosto confronta la tua posizione con quella di riferimento dopo qualche passo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.