Segnali attraverso 20 layer
Perché è importante Prima che una rete profonda impari qualsiasi cosa, il segnale deve sopravvivere al viaggio attraverso ogni layer. Spesso non ci riesce, e nessun ottimizzatore può rimediare.
Spingi un batch di input casuali attraverso 20 layer di h = relu(h @ W), con ogni peso estratto da una distribuzione normale di una certa dispersione. Dopo ogni layer, misura la dispersione (deviazione standard) delle attivazioni.
Numeri piccolissimi
Ogni layer moltiplica la dimensione tipica del segnale più o meno per lo stesso fattore. Se quel fattore è 0.5, dopo 20 layer il segnale è 0.5 alla ventesima: circa un milionesimo. Se è 2, è circa un milione di volte più grande. Sopravvive solo un fattore vicino a 1.
Riepilogo La profondità trasforma piccoli cambiamenti per layer in cambiamenti enormi.
Parole e simboli di questa lezione
- Xavier, LeCun, He
- dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
Scrivi spreads(scale, depth=20, width=100, seed=0): parti da h = rng.standard_normal((256, width)), poi per ogni layer estrai W = rng.normal(0, scale, (width, width)) e imposta h = relu(h @ W). Restituisci la lista di h.std() dopo ogni layer.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.