Lehrplan Lektion 128 von 246 · Modul 11: Netzwerke mit Gedächtnis (RNNs)
Modul 11: Netzwerke mit Gedächtnis (RNNs)

Verschwindende und explodierende Gradienten, gemessen

Warum das wichtig ist Du hast gerade den Gradienten für einen frühen Schritt gesehen, der pro Schritt einmal mit w multipliziert wurde. Bei vielen Schritten schrumpft dieses Produkt entweder zu nichts oder explodiert. Das ist die Hauptschwäche von einfachen RNNs.

Anstatt einer Zahl mit einer Gewichtungsmatrix W einen Schritt zurückzugehen, multipliziert den Gradienten mit W transponiert (unter Ignorieren von tanh, das ihn nur weiter verkleinern kann). Ein Schritt kann einen Vektor um maximal die größte Streckung von W vergrößern, seine spectral norm. Über viele Schritte zählt der spectral radius, die Größe des größten Eigenwerts von W (Modul 2, "How spread adds up, and what a matrix stretches"): nach k Schritten hat sich die Größe um etwa r hoch k geändert. (Für die unten verwendeten Rotationen sind die beiden dieselbe Zahl, r.) r = 0.9 über 50 Schritte: 0.005. r = 1.1 über 50 Schritte: 117.

Zwei verschiedene Heilmittel

Explodierende Gradienten haben eine grobe Heilung: clip sie (Module 5). Verschwindende Gradienten haben keine solche Heilung. Der totale Gradient für ein Gewicht ist eine Summe über jede Distanz zurück in der Zeit; wenn die Fernbereichs-Terme schrumpfen wie 0.9 hoch 50, werden sie von den Nahbereichs-Termen übertönt, und das Hochskalieren der gesamten Summe skaliert das Rauschen mit ihnen. Das Netzwerk kann einfach nicht erkennen, dass etwas weit zurück wichtig war. Die Heilung dort ist eine andere Architektur: das LSTM, als Nächstes.

Wörter und Symbole in dieser Lektion
rekurrentes Netzwerk (RNN)
ein Netzwerk, das einen Schritt nach dem anderen liest und einen versteckten Zustand weitergibt
verschwindender / explodierender Gradient
a Gradienten, die viele Male mit derselben Matrix multipliziert werden, schrumpfen zu nichts oder explodieren
LSTM
an RNN mit einer Memory Cell c und drei Gates: forget, input, output
Du bist dran

Schreibe gradient_sizes(W, steps): beginne mit einem Gradienten aus Einsen, multipliziere pro Schritt einmal mit W.T und gib die Liste der Normen (eine pro Schritt) zurück. Setze dann verdicts auf "vanish", "steady" oder "explode" für die drei Matrizen, basierend auf der Norm nach 50 Schritten (unter 0.01, zwischen 0.01 und 100, über 100).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.