Lehrplan Lektion 129 von 246 · Modul 11: Netzwerke mit Gedächtnis (RNNs)
Modul 11: Netzwerke mit Gedächtnis (RNNs)

LSTM Gates, gebaut

Warum das wichtig ist Das LSTM (1997, mit dem hier gelehrtem Forget Gate aus dem Jahr 2000) hat das Speicherproblem des RNN gelöst und die Spracherkennung sowie Übersetzung für zwanzig Jahre ermöglicht. Sein Trick ist einfach, sobald man ihn sieht.

Sieh es dir an

Spiele die Animation ab. Neben dem verborgenen Zustand h behält ein LSTM eine cell c, ein Förderband des Gedächtnisses, bei. Drei Gates, jedes eine Sigmoid zwischen 0 und 1, entscheiden, was damit geschieht:

  • forget gate f: wie viel von der alten Zelle behalten werden soll;
  • input gate i: wie viel neue Informationen g zu schreiben;
  • output gate o: wie viel der Zelle soll als h angezeigt werden.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

Die Schlüsselzeile ist c = f * c + i * g. Einen Schritt zurück: Der Gradient auf der Zelle wird mit f multipliziert und sonst nichts: keine wiederholte Multiplikation durch eine Gewichtungsmatrix. Er schrumpft in jedem Schritt immer noch um f, also nach k Schritten ist er f hoch k. Bei f = 0.95 sind das 0.08 nach 50 Schritten; bei f = 0.999 sind es 0.95. Ein LSTM erinnert also lange, solange seine Forget Gates sehr nah bei 1 bleiben, und die nächste Lektion misst, wie nah nah genug ist.

Wörter und Symbole in dieser Lektion
rekurrentes Netzwerk (RNN)
ein Netzwerk, das einen Schritt nach dem anderen liest und einen verborgenen Zustand weitergibt
versteckter Zustand h
der kurze Vektor von Zahlen, den ein RNN von Schritt zu Schritt trägt
LSTM
an RNN mit einer Memory Cell c und drei Gates: forget, input, output
Du bist dran

Schreibe lstm_step(x, h, c, W, b) und gib (h, c) zurück, mit W der Form (inputs + hidden, 4 * hidden) und den vier Vierteln in der Reihenfolge i, f, g, o. Die inputs sind batched: x ist (batch, inputs), h und c sind (batch, hidden), also verbinde x und h entlang axis 1.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.