Zu klein, zu groß: verschwindend und explodierend
Warum das wichtig ist Ein verschwundenes Signal bedeutet, dass jeder Gradient fast Null ist und das Training stockt. Ein explodiertes Signal bedeutet Überlauf und nan. Beides kommt von den Startgewichten.
Sieh es dir an
Spiele die Animation ab: derselbe 20-Schichten-Stapel startete auf drei Arten. Zu klein, und das Signal verblasst Schicht für Schicht zu nichts. Zu groß, und es verdoppelt sich und verdoppelt sich, bis es überläuft. Genau richtig, und es bleibt bis zum Ende stabil. Der Gradient auf dem Rückweg erleidet das gleiche Schicksal.
Vanishing: Aktivierungen oder Gradienten schrumpfen durch die Schichten Richtung Null. Exploding: Wachsen ohne Limit.
Wörter und Symbole in dieser Lektion
- vanishing, exploding
- Signale oder Gradienten schrumpfen auf nichts oder wachsen ohne Limit durch Schichten
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Verwende dein spreads aus der letzten Lektion (bereitgestellt), schreibe verdict(scale) gib "vanish" zurück wenn der finale Spread unter 1e-3 liegt, "explode" wenn er über 1e3 liegt, sonst "ok". Fülle dann my_predictions für die Skalen 0.05, 0.14 und 0.5 aus, bevor du startest.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.