Wer erinnert sich? Die aufgezeichneten Durchläufe
Warum das wichtig ist Das Lehrbuch sagt, dass LSTMs sich erinnern und einfache RNNs vergessen. Der Kurs hat das getestet, und die echte Antwort hat eine Wendung, die man wissen sollte, bevor man jemals eines trainiert.
Das aufgezeichnete Experiment rnn-vs-lstm-memory: das Netzwerk sieht eines von vier Symbolen, dann eine Lücke von 5, 15, 30 oder 60 weiteren Symbolen aus demselben Alphabet, und muss sagen, welches das erste Symbol war. Drei Arten von Netzwerken, drei Seeds für jedes:
- ein einfaches tanh RNN;
- ein LSTM, dessen Forget Gate mit einem Bias von 1 startet (es behält zuerst etwa 73% der Zelle pro Schritt);
- ein LSTM, dessen forget gate mit einem bias von 3 beginnt (etwa 95%).
Bevor du die Durchläufe liest, sag voraus: welcher Typ ist bei allen drei Seeds bei einem Abstand von 60 erfolgreich?
Wörter und Symbole in dieser Lektion
- rekurrentes Netzwerk (RNN)
- ein Netzwerk, das einen Schritt nach dem anderen liest und einen versteckten Zustand weitergibt
- LSTM
- an RNN mit einer Memory Cell c und drei Gates: forget, input, output
Setz my_prediction auf "rnn", "lstm-forget-bias-1" oder "lstm-forget-bias-3". Fülle dann successes: (cell, gap) auf die Anzahl der drei Seeds, die mindestens 95% Testgenauigkeit erreicht haben, mit nnsim.recorded.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.