Programma Les 132 van 246 · Module 11: Netwerken met geheugen (RNNs)
Module 11: Netwerken met geheugen (RNNs)

De een leest, de ander schrijft: de bottleneck

Waarom dit ertoe doetVertaling werkte vroeger zo: één RNN leest de zin in een enkele vector, een andere schrijft de output ervan. Die ene vector is een bottleneck, en het zien van dit falen is de reden waarom attention is uitgevonden.

Een encoder-decoder: de encoder RNN leest de input; zijn uiteindelijke hidden state wordt doorgegeven aan de decoder RNN, die de output symbool voor symbool schrijft en elk antwoord terugvoert. Alles wat de decoder weet over de input moet door die ene vector van 48 getallen heen.

Het opgenomen experiment seq2seq-bottleneck trainde zulke netwerken om een reeks cijfers achterstevoren te schrijven, voor lengtes 4, 8, 12 en 16, twee seeds elk. Het trainde ook een versie met attention, die je zult tegenkomen in Module 13. Kijk voor nu alleen naar de gewone versies.

Roep de Curve op: voorspel de digit accuracy van het plain model bij lengte 16. Kans is 10%.

Woorden en symbolen in deze les
recurrent network (RNN)
een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
encoder-decoder
one RNN leest de input in als een vector, een andere schrijft de output ervan
bottleneck
de enkele vector waar alles doorheen moet moet
Jij bent aan de beurt

Stel my_guess_16 in, en vul daarna plain_acc: lengte tot de gemiddelde cijfer nauwkeurigheid van de twee gewone runs.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.