Programma Lezione 66 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

Passi rumorosi (SGD e minibatch)

Perché è importante I dataset veri hanno milioni di esempi. Calcolare il gradiente esatto su tutti a ogni passo è troppo lento, quindi lo stimiamo da un piccolo batch.

Un gradiente su minibatch usa, diciamo, 32 esempi casuali invece di tutti e 512. Punta più o meno in discesa, con un po' di rumore. Ottieni 16 passi economici e rumorosi al prezzo di un passo esatto, e nella pratica vince facilmente.

Che cosa fa il rumore

La curva di loss diventa frastagliata invece che liscia, e vicino al fondo non si assesta mai del tutto: oscilla attorno al minimo. Abbassare il learning rate verso la fine dell'addestramento calma l'oscillazione. Un po' di rumore è perfino utile nelle reti grandi, scuotendo il percorso fuori dai punti peggiori.

SGD: discesa stocastica del gradiente, la discesa del gradiente con stime del gradiente su minibatch.

Riepilogo Molti passi economici e rumorosi battono pochi passi esatti.

Parole e simboli di questa lezione
SGD
discesa del gradiente con piccoli batch casuali
minibatch
una piccola fetta casuale dei dati usata per un passo
Tocca a te

Scrivi sgd(X, y, lr, batch, epochs, seed) per la regressione lineare (loss: errore quadratico medio), mescolando a ogni epoca, che restituisce (w, losses) dove losses è la loss su tutti i dati dopo ogni epoca. Con batch 32, lr 0.05 e 10 epoche deve finire sotto 0.02.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.