Sequenzen und Zustand
Warum das wichtig ist Text, Sprache, Preise und Sensordaten kommen Schritt für Schritt an, und was vorher kam, verändert das, was als Nächstes kommt. Ein rekurrentes Netzwerk trägt eine laufende Zusammenfassung weiter.
A rekurrentes neuronales Netz (RNN) behält einen hidden state h, einen kurzen Vektor. Bei jedem Schritt mischt es den neuen Input mit dem alten Zustand und presst das Ergebnis zusammen:
h = tanh(x_t @ Wx + h @ Wh + b)
Die gleichen Gewichte werden bei jedem Schritt verwendet, genau wie ein CNN seinen Filter an jeder Position wiederverwendet. Das finale h hängt von allem ab, was das Netzwerk gelesen hat, also ist es ein (fehlerbehaftetes) Gedächtnis der gesamten Sequenz.
Kleine Zahlen
Eine Eingabezahl, eine versteckte Zahl, Wx = 1, Wh = 0.5, b = 0, h startet bei 0. Lesen von 1 dann 0: h = tanh(1) = 0.76, dann h = tanh(0 + 0.38) = 0.36. Die erste Eingabe zeigt nach dem zweiten Schritt noch im Zustand, verblasst aber.
Hidden state: der Vektor, den ein RNN von Schritt zu Schritt trägt. Recurrent: das eigene Ergebnis als Eingabe zurückgeben.
Wörter und Symbole in dieser Lektion
- rekurrentes Netzwerk (RNN)
- ein Netzwerk, das einen Schritt nach dem anderen liest und einen verborgenen Zustand weitergibt
Schreibe rnn_forward(xs, Wx, Wh, b): xs hat die Form (steps, input size); beginne bei einem Nullzustand und gib die Liste der hidden states nach jedem Schritt zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.