Programma Lezione 67 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

Dimensione del batch e learning rate insieme

Perché è importante Dimensione del batch e learning rate non sono manopole separate. Cambia una e il valore migliore dell'altra si sposta.

Un batch più grande dà un gradiente meno rumoroso, quindi può fare in sicurezza un passo più grande. Una regola approssimativa da cui partono in molti: se raddoppi la dimensione del batch, puoi più o meno raddoppiare il learning rate, fino al punto in cui il passo diventa instabile.

I risultati oscillano anche da un seme all'altro, quindi confronta le impostazioni su diversi semi, mai su un'esecuzione sola.

Un'altra trappola: le etichette qui hanno un rumore con dispersione 0.1, quindi nessuna impostazione può portare la loss sotto circa 0.1 al quadrato = 0.01. Vicino a quel pavimento diverse coppie sono pari (per esempio 0.0113 contro 0.0114). Un "vincitore" per meno dell'oscillazione da seme a seme non è un vincitore, quindi l'esecuzione elenca anche ogni coppia entro il 5% dalla migliore.

Riepilogo Regolali insieme, e fai la media sui semi.

Parole e simboli di questa lezione
SGD
discesa del gradiente con piccoli batch casuali
Tocca a te

Prima prevedi: in my_pick, scrivi la coppia (batch, lr) della griglia che pensi finisca con la loss più bassa dopo 2 epoche. Poi scrivi sweep(X, y, batches, lrs, seeds) che restituisce un dizionario da (batch, lr) alla loss finale media sui semi (usa la sgd data), e best(results) che restituisce la coppia migliore.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.