Lehrplan Lektion 132 von 246 · Modul 11: Netzwerke mit Gedächtnis (RNNs)
Modul 11: Netzwerke mit Gedächtnis (RNNs)

Einer liest, einer schreibt: der Flaschenhals

Warum das wichtig istDie Übersetzung funktionierte früher so: ein RNN liest den Satz in einen einzelnen Vektor, ein anderes schreibt die Ausgabe daraus. Dieser eine Vektor ist ein Flaschenhals, und zu sehen, wie er scheitert, ist der Grund, warum Attention erfunden wurde.

Ein encoder-decoder: das encoder RNN liest den input; sein finaler hidden state wird an das decoder RNN übergeben, welches den output symbol für symbol schreibt und jede answer zurückspeist. Alles, was der decoder über den input weiß, muss durch diesen einen vektor von 48 Zahlen passen.

Das aufgezeichnete Experiment seq2seq-bottleneck trainierte solche Netzwerke, um eine Sequenz von Ziffern rückwärts zu schreiben, für die Längen 4, 8, 12 und 16, jeweils zwei Seeds. Es trainierte auch eine Version mit Attention, die du in Modul 13 kennenlernen wirst. Schau jetzt nur auf die einfachen Versionen.

Tipp die Kurve: Prädiziere die digit accuracy des plain models bei Länge 16. Die Chance ist 10%.

Wörter und Symbole in dieser Lektion
rekurrentes Netzwerk (RNN)
ein Netzwerk, das einen Schritt nach dem anderen liest und einen verborgenen Zustand weitergibt
encoder-decoder
one RNN liest die Eingabe in einen Vektor, eine andere schreibt die Ausgabe daraus
bottleneck
der einzelne Vektor alles muss hindurchquetschen
Du bist dran

Setze my_guess_16, dann fülle plain_acc: length bis zur mittleren Ziffer Genauigkeit der zwei einfachen Durchläufe.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.