Lehrplan Lektion 76 von 246 · Modul 6: Startgewichte und Normalisierung
Modul 6: Startgewichte und Normalisierung

Zu klein, zu groß: verschwindend und explodierend

Warum das wichtig ist Ein verschwundenes Signal bedeutet, dass jeder Gradient fast Null ist und das Training stockt. Ein explodiertes Signal bedeutet Überlauf und nan. Beides kommt von den Startgewichten.

Sieh es dir an

Spiele die Animation ab: derselbe 20-Schichten-Stapel startete auf drei Arten. Zu klein, und das Signal verblasst Schicht für Schicht zu nichts. Zu groß, und es verdoppelt sich und verdoppelt sich, bis es überläuft. Genau richtig, und es bleibt bis zum Ende stabil. Der Gradient auf dem Rückweg erleidet das gleiche Schicksal.

Vanishing: Aktivierungen oder Gradienten schrumpfen durch die Schichten Richtung Null. Exploding: Wachsen ohne Limit.

Wörter und Symbole in dieser Lektion
vanishing, exploding
Signale oder Gradienten schrumpfen auf nichts oder wachsen ohne Limit durch Schichten
Xavier, LeCun, He
startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Du bist dran

Verwende dein spreads aus der letzten Lektion (bereitgestellt), schreibe verdict(scale) gib "vanish" zurück wenn der finale Spread unter 1e-3 liegt, "explode" wenn er über 1e3 liegt, sonst "ok". Fülle dann my_predictions für die Skalen 0.05, 0.14 und 0.5 aus, bevor du startest.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.