Programma Lezione 75 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

Segnali attraverso 20 layer

Perché è importante Prima che una rete profonda impari qualsiasi cosa, il segnale deve sopravvivere al viaggio attraverso ogni layer. Spesso non ci riesce, e nessun ottimizzatore può rimediare.

Spingi un batch di input casuali attraverso 20 layer di h = relu(h @ W), con ogni peso estratto da una distribuzione normale di una certa dispersione. Dopo ogni layer, misura la dispersione (deviazione standard) delle attivazioni.

Numeri piccolissimi

Ogni layer moltiplica la dimensione tipica del segnale più o meno per lo stesso fattore. Se quel fattore è 0.5, dopo 20 layer il segnale è 0.5 alla ventesima: circa un milionesimo. Se è 2, è circa un milione di volte più grande. Sopravvive solo un fattore vicino a 1.

Riepilogo La profondità trasforma piccoli cambiamenti per layer in cambiamenti enormi.

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
Tocca a te

Scrivi spreads(scale, depth=20, width=100, seed=0): parti da h = rng.standard_normal((256, width)), poi per ogni layer estrai W = rng.normal(0, scale, (width, width)) e imposta h = relu(h @ W). Restituisci la lista di h.std() dopo ogni layer.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.