Lehrplan Lektion 130 von 246 · Modul 11: Netzwerke mit Gedächtnis (RNNs)
Modul 11: Netzwerke mit Gedächtnis (RNNs)

Wer erinnert sich? Die aufgezeichneten Durchläufe

Warum das wichtig ist Das Lehrbuch sagt, dass LSTMs sich erinnern und einfache RNNs vergessen. Der Kurs hat das getestet, und die echte Antwort hat eine Wendung, die man wissen sollte, bevor man jemals eines trainiert.

Das aufgezeichnete Experiment rnn-vs-lstm-memory: das Netzwerk sieht eines von vier Symbolen, dann eine Lücke von 5, 15, 30 oder 60 weiteren Symbolen aus demselben Alphabet, und muss sagen, welches das erste Symbol war. Drei Arten von Netzwerken, drei Seeds für jedes:

  • ein einfaches tanh RNN;
  • ein LSTM, dessen Forget Gate mit einem Bias von 1 startet (es behält zuerst etwa 73% der Zelle pro Schritt);
  • ein LSTM, dessen forget gate mit einem bias von 3 beginnt (etwa 95%).

Bevor du die Durchläufe liest, sag voraus: welcher Typ ist bei allen drei Seeds bei einem Abstand von 60 erfolgreich?

Wörter und Symbole in dieser Lektion
rekurrentes Netzwerk (RNN)
ein Netzwerk, das einen Schritt nach dem anderen liest und einen versteckten Zustand weitergibt
LSTM
an RNN mit einer Memory Cell c und drei Gates: forget, input, output
Du bist dran

Setz my_prediction auf "rnn", "lstm-forget-bias-1" oder "lstm-forget-bias-3". Fülle dann successes: (cell, gap) auf die Anzahl der drei Seeds, die mindestens 95% Testgenauigkeit erreicht haben, mit nnsim.recorded.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.