Signale durch 20 Schichten
Warum das wichtig istBevor ein tiefes Netzwerk etwas lernt, muss das Signal die Reise durch jede Schicht überleben. Oft überlebt es das nicht, und kein Optimierer kann das beheben.
Schiebe eine Charge von zufälligen Eingaben durch 20 Schichten von h = relu(h @ W), wobei jedes Gewicht aus einer Normalverteilung mit einer bestimmten Streuung gezogen wird. Missche nach jeder Schicht die Streuung (Standardabweichung) der Aktivierungen.
Kleine Zahlen
Jede Schicht multipliziert die typische Größe des Signals mit etwa demselben Faktor. Wenn dieser Faktor 0.5 ist, ist das Signal nach 20 Schichten 0.5 hoch 20: etwa ein Millionstel. Wenn es 2 ist, ist es etwa eine Million Mal größer. Nur ein Faktor nahe 1 überlebt.
Zusammenfassung Tiefe macht kleine Änderungen pro Schicht zu riesigen Änderungen.
Wörter und Symbole in dieser Lektion
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Schreibe spreads(scale, depth=20, width=100, seed=0): beginne bei h = rng.standard_normal((256, width)), dann zeichne für jede Schicht W = rng.normal(0, scale, (width, width)) und setze h = relu(h @ W). Gib die Liste der h.std() nach jeder Schicht zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.