Lehrplan Lektion 75 von 246 · Modul 6: Startgewichte und Normalisierung
Modul 6: Startgewichte und Normalisierung

Signale durch 20 Schichten

Warum das wichtig istBevor ein tiefes Netzwerk etwas lernt, muss das Signal die Reise durch jede Schicht überleben. Oft überlebt es das nicht, und kein Optimierer kann das beheben.

Schiebe eine Charge von zufälligen Eingaben durch 20 Schichten von h = relu(h @ W), wobei jedes Gewicht aus einer Normalverteilung mit einer bestimmten Streuung gezogen wird. Missche nach jeder Schicht die Streuung (Standardabweichung) der Aktivierungen.

Kleine Zahlen

Jede Schicht multipliziert die typische Größe des Signals mit etwa demselben Faktor. Wenn dieser Faktor 0.5 ist, ist das Signal nach 20 Schichten 0.5 hoch 20: etwa ein Millionstel. Wenn es 2 ist, ist es etwa eine Million Mal größer. Nur ein Faktor nahe 1 überlebt.

Zusammenfassung Tiefe macht kleine Änderungen pro Schicht zu riesigen Änderungen.

Wörter und Symbole in dieser Lektion
Xavier, LeCun, He
startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Du bist dran

Schreibe spreads(scale, depth=20, width=100, seed=0): beginne bei h = rng.standard_normal((256, width)), dann zeichne für jede Schicht W = rng.normal(0, scale, (width, width)) und setze h = relu(h @ W). Gib die Liste der h.std() nach jeder Schicht zurück.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.