Lehrplan Lektion 78 von 246 · Modul 6: Startgewichte und Normalisierung
Modul 6: Startgewichte und Normalisierung

Tote ReLUs

Warum das wichtig ist Eine ReLU, die für jeden Input aus ist, leitet keinen Gradienten weiter, also lernt sie nie wieder. Ganze Schichten können leise sterben.

Eine

A Einheit ist tot, wenn ihr Output für jedes Beispiel in einem Batch Null ist. Häufige Ursachen: ein großer negativer Bias oder ein riesiges Update, das ihre Gewichte weit ins Negative gedrückt hat.

Kleine Zahlen

Aktivierungen für 4 Beispiele und 3 Einheiten: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Einheit 1 ist überall Null: tot. Einheit 3 hat einmal gefeuert: lebendig. Toter Anteil: 1 von 3.

Fixes: sinnvolle Startgewichte, Biases beginnend bei 0 (oder leicht positiv), eine kleinere learning rate oder leaky ReLU, das eine kleine Steigung (z. B. 0.01) für negative Inputs beibehält, damit die Einheit sich erholen kann.

Wörter und Symbole in dieser Lektion
Xavier, LeCun, He
startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Du bist dran

Schreibe dead_fraction(H) für eine Aktivierungsmatrix (Beispiele nach Einheiten). Schreibe dann für die darunterliegende Schicht, die mit Biases von -4 gestartet wurde, fixed_layer(X, W), die die gleichen Gewichte beibehält, aber Biases von Null und ein leaky ReLU mit einer Steigung von 0.01 verwendet; ihr toter Anteil (Zählung der exakt-Null-Ausgaben) muss 0.

sein.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.