Tote ReLUs
Warum das wichtig ist Eine ReLU, die für jeden Input aus ist, leitet keinen Gradienten weiter, also lernt sie nie wieder. Ganze Schichten können leise sterben.
A Einheit ist tot, wenn ihr Output für jedes Beispiel in einem Batch Null ist. Häufige Ursachen: ein großer negativer Bias oder ein riesiges Update, das ihre Gewichte weit ins Negative gedrückt hat.
Kleine Zahlen
Aktivierungen für 4 Beispiele und 3 Einheiten: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Einheit 1 ist überall Null: tot. Einheit 3 hat einmal gefeuert: lebendig. Toter Anteil: 1 von 3.
Fixes: sinnvolle Startgewichte, Biases beginnend bei 0 (oder leicht positiv), eine kleinere learning rate oder leaky ReLU, das eine kleine Steigung (z. B. 0.01) für negative Inputs beibehält, damit die Einheit sich erholen kann.
Wörter und Symbole in dieser Lektion
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Schreibe dead_fraction(H) für eine Aktivierungsmatrix (Beispiele nach Einheiten). Schreibe dann für die darunterliegende Schicht, die mit Biases von -4 gestartet wurde, fixed_layer(X, W), die die gleichen Gewichte beibehält, aber Biases von Null und ein leaky ReLU mit einer Steigung von 0.01 verwendet; ihr toter Anteil (Zählung der exakt-Null-Ausgaben) muss 0.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.