LSTM Gates, gebaut
Warum das wichtig ist Das LSTM (1997, mit dem hier gelehrtem Forget Gate aus dem Jahr 2000) hat das Speicherproblem des RNN gelöst und die Spracherkennung sowie Übersetzung für zwanzig Jahre ermöglicht. Sein Trick ist einfach, sobald man ihn sieht.
Sieh es dir an
Spiele die Animation ab. Neben dem verborgenen Zustand h behält ein LSTM eine cell c, ein Förderband des Gedächtnisses, bei. Drei Gates, jedes eine Sigmoid zwischen 0 und 1, entscheiden, was damit geschieht:
- forget gate f: wie viel von der alten Zelle behalten werden soll;
- input gate i: wie viel neue Informationen g zu schreiben;
- output gate o: wie viel der Zelle soll als h angezeigt werden.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
Die Schlüsselzeile ist c = f * c + i * g. Einen Schritt zurück: Der Gradient auf der Zelle wird mit f multipliziert und sonst nichts: keine wiederholte Multiplikation durch eine Gewichtungsmatrix. Er schrumpft in jedem Schritt immer noch um f, also nach k Schritten ist er f hoch k. Bei f = 0.95 sind das 0.08 nach 50 Schritten; bei f = 0.999 sind es 0.95. Ein LSTM erinnert also lange, solange seine Forget Gates sehr nah bei 1 bleiben, und die nächste Lektion misst, wie nah nah genug ist.
Wörter und Symbole in dieser Lektion
- rekurrentes Netzwerk (RNN)
- ein Netzwerk, das einen Schritt nach dem anderen liest und einen verborgenen Zustand weitergibt
- versteckter Zustand h
- der kurze Vektor von Zahlen, den ein RNN von Schritt zu Schritt trägt
- LSTM
- an RNN mit einer Memory Cell c und drei Gates: forget, input, output
Schreibe lstm_step(x, h, c, W, b) und gib (h, c) zurück, mit W der Form (inputs + hidden, 4 * hidden) und den vier Vierteln in der Reihenfolge i, f, g, o. Die inputs sind batched: x ist (batch, inputs), h und c sind (batch, hidden), also verbinde x und h entlang axis 1.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.