Passi rumorosi (SGD e minibatch)
Perché è importante I dataset veri hanno milioni di esempi. Calcolare il gradiente esatto su tutti a ogni passo è troppo lento, quindi lo stimiamo da un piccolo batch.
Un gradiente su minibatch usa, diciamo, 32 esempi casuali invece di tutti e 512. Punta più o meno in discesa, con un po' di rumore. Ottieni 16 passi economici e rumorosi al prezzo di un passo esatto, e nella pratica vince facilmente.
Che cosa fa il rumore
La curva di loss diventa frastagliata invece che liscia, e vicino al fondo non si assesta mai del tutto: oscilla attorno al minimo. Abbassare il learning rate verso la fine dell'addestramento calma l'oscillazione. Un po' di rumore è perfino utile nelle reti grandi, scuotendo il percorso fuori dai punti peggiori.
SGD: discesa stocastica del gradiente, la discesa del gradiente con stime del gradiente su minibatch.
Riepilogo Molti passi economici e rumorosi battono pochi passi esatti.
Parole e simboli di questa lezione
- SGD
- discesa del gradiente con piccoli batch casuali
- minibatch
- una piccola fetta casuale dei dati usata per un passo
Scrivi sgd(X, y, lr, batch, epochs, seed) per la regressione lineare (loss: errore quadratico medio), mescolando a ogni epoca, che restituisce (w, losses) dove losses è la loss su tutti i dati dopo ogni epoca. Con batch 32, lr 0.05 e 10 epoche deve finire sotto 0.02.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.