La scala che tiene stabili i segnali (Xavier e He)
Perché è importante C'è una risposta esatta a "quanto devono essere grandi i pesi iniziali". Usala e le reti profonde diventano addestrabili.
Numeri piccolissimi
Un output di un layer somma n_in prodotti di un input e un peso. Se gli input hanno dispersione 1 e i pesi hanno dispersione s, la somma di n_in termini così ha dispersione s per sqrt(n_in) (le varianze si sommano: Modulo 2, "Come si somma la dispersione"). Per tenerla a 1, scegli s = 1 / sqrt(n_in). È l'inizializzazione di LeCun. L'inizializzazione di Xavier (detta anche Glorot) tiene stabili anche i gradienti al ritorno, che dipendono da n_out, quindi prende una via di mezzo: s = sqrt(2 / (n_in + n_out)). Quando n_in è uguale a n_out le due coincidono. Entrambe vanno bene per tanh.
ReLU butta via la metà negativa, il che dimezza la dimensione media al quadrato. Compensa con il doppio della varianza: s = sqrt(2 / n_in). È l'inizializzazione di He, giusta per ReLU. Con larghezza 100, He dà sqrt(0.02) = 0.141: esattamente la scala "ok" dell'ultima lezione.
Riepilogo tanh: Xavier, sqrt(2 / (n_in + n_out)), o LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Parole e simboli di questa lezione
- inizializzazione
- come vengono impostati i pesi prima che inizi l'addestramento
- Xavier, LeCun, He
- dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
Scrivi xavier(n_in, n_out, rng) e he(n_in, n_out, rng) che restituiscono matrici di pesi. Con i pesi He, la dispersione delle attivazioni dopo 20 layer ReLU di larghezza 256 deve restare tra 0.2 e 5.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.