Programma Lezione 78 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

ReLU morte

Perché è importante Una ReLU spenta per ogni input non fa passare nessun gradiente, quindi non impara mai più. Interi layer possono morire in silenzio.

Un'unità è morta se il suo output è zero per ogni esempio di un batch. Cause comuni: un grande bias negativo, o un unico aggiornamento enorme che ha spinto i suoi pesi molto in negativo.

Numeri piccolissimi

Attivazioni per 4 esempi e 3 unità: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. L'unità 1 è zero ovunque: morta. L'unità 3 si è attivata una volta: viva. Frazione di morte: 1 su 3.

Rimedi: pesi iniziali sensati, bias che partono da 0 (o leggermente positivi), un learning rate più piccolo, o una leaky ReLU, che mantiene una piccola pendenza (diciamo 0.01) per gli input negativi così l'unità può riprendersi.

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
Tocca a te

Scrivi dead_fraction(H) per una matrice di attivazioni (esempi per unità). Poi, per il layer qui sotto, che è partito con bias di -4, scrivi fixed_layer(X, W) che tiene gli stessi pesi ma usa bias zero e una leaky ReLU con pendenza 0.01; la sua frazione di morte (contando gli output esattamente zero) deve essere 0.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.