Lehrplan Lektion 127 von 246 · Modul 11: Netzwerke mit Gedächtnis (RNNs)
Modul 11: Netzwerke mit Gedächtnis (RNNs)

Backprop durch die Zeit ist gewöhnliches Backprop.

Warum das wichtig ist "Backpropagation through time" klingt wie ein neuer Algorithmus. Das ist es nicht: entfalte die Schleife und es ist backprop auf ein tiefes Netzwerk, dessen Schichten einen Satz von Gewichten teilen.

Sieh es dir an

Spiele die Animation ab. Drei Schritte eines RNN, nebeneinander gezeichnet, sind drei Schichten. Das gleiche Gewicht w erscheint in jeder. Rückwärts sammelt der Gradient für w einen Beitrag von jeder Kopie, genau wie ein Knoten, der mehrmals in deiner Module 4 Engine verwendet wird.

Kleine Zahlen

A ein einstelliges lineares RNN: h_t = w h_(t-1) + x_t, beginnend bei h_0 = 0, mit loss = h_3. Eingaben 1, 2, 3 und w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Zurückgehend, dL/dh2 = w = 0.5 und dL/dh1 = w im Quadrat = 0.25. Jede Kopie von w trägt (Gradient an ihrem Ausgang) mal (das h, das sie multipliziert) bei: 1 mal h2 + 0.5 mal h1 + 0.25 mal h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: Backpropagation durch die Zeit; entfalte die Schritte und führe die Backpropagation durch, indem du den Gradienten von jedem Schritt addierst, der ein Gewicht teilt.

Wörter und Symbole in dieser Lektion
rekurrentes Netzwerk (RNN)
ein Netzwerk, das einen Schritt nach dem anderen liest und einen versteckten Zustand weitergibt
backprop through time (BPTT)
Entfalte die Schritte und führe die Backpropagation durch, wobei du den Gradienten von jedem Schritt hinzufügst, der ein Gewicht teilt
Du bist dran

Für das Ein-Zahlen-RNN h_t = w * h_(t-1) + x_t mit h_0 = 0 und Verlust h_T (der letzte Zustand), schreibe bptt(xs, w) und gib dL/dw zurück, indem du die Schritte rückwärts durchgehst.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.