Einer liest, einer schreibt: der Flaschenhals
Warum das wichtig istDie Übersetzung funktionierte früher so: ein RNN liest den Satz in einen einzelnen Vektor, ein anderes schreibt die Ausgabe daraus. Dieser eine Vektor ist ein Flaschenhals, und zu sehen, wie er scheitert, ist der Grund, warum Attention erfunden wurde.
Ein encoder-decoder: das encoder RNN liest den input; sein finaler hidden state wird an das decoder RNN übergeben, welches den output symbol für symbol schreibt und jede answer zurückspeist. Alles, was der decoder über den input weiß, muss durch diesen einen vektor von 48 Zahlen passen.
Das aufgezeichnete Experiment seq2seq-bottleneck trainierte solche Netzwerke, um eine Sequenz von Ziffern rückwärts zu schreiben, für die Längen 4, 8, 12 und 16, jeweils zwei Seeds. Es trainierte auch eine Version mit Attention, die du in Modul 13 kennenlernen wirst. Schau jetzt nur auf die einfachen Versionen.
Tipp die Kurve: Prädiziere die digit accuracy des plain models bei Länge 16. Die Chance ist 10%.
Wörter und Symbole in dieser Lektion
- rekurrentes Netzwerk (RNN)
- ein Netzwerk, das einen Schritt nach dem anderen liest und einen verborgenen Zustand weitergibt
- encoder-decoder
- one RNN liest die Eingabe in einen Vektor, eine andere schreibt die Ausgabe daraus
- bottleneck
- der einzelne Vektor alles muss hindurchquetschen
Setze my_guess_16, dann fülle plain_acc: length bis zur mittleren Ziffer Genauigkeit der zwei einfachen Durchläufe.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.