Dimensione del batch e learning rate insieme
Perché è importante Dimensione del batch e learning rate non sono manopole separate. Cambia una e il valore migliore dell'altra si sposta.
Un batch più grande dà un gradiente meno rumoroso, quindi può fare in sicurezza un passo più grande. Una regola approssimativa da cui partono in molti: se raddoppi la dimensione del batch, puoi più o meno raddoppiare il learning rate, fino al punto in cui il passo diventa instabile.
I risultati oscillano anche da un seme all'altro, quindi confronta le impostazioni su diversi semi, mai su un'esecuzione sola.
Un'altra trappola: le etichette qui hanno un rumore con dispersione 0.1, quindi nessuna impostazione può portare la loss sotto circa 0.1 al quadrato = 0.01. Vicino a quel pavimento diverse coppie sono pari (per esempio 0.0113 contro 0.0114). Un "vincitore" per meno dell'oscillazione da seme a seme non è un vincitore, quindi l'esecuzione elenca anche ogni coppia entro il 5% dalla migliore.
Riepilogo Regolali insieme, e fai la media sui semi.
Parole e simboli di questa lezione
- SGD
- discesa del gradiente con piccoli batch casuali
Prima prevedi: in my_pick, scrivi la coppia (batch, lr) della griglia che pensi finisca con la loss più bassa dopo 2 epoche. Poi scrivi sweep(X, y, batches, lrs, seeds) che restituisce un dizionario da (batch, lr) alla loss finale media sui semi (usa la sgd data), e best(results) che restituisce la coppia migliore.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.