De een leest, de ander schrijft: de bottleneck
Waarom dit ertoe doetVertaling werkte vroeger zo: één RNN leest de zin in een enkele vector, een andere schrijft de output ervan. Die ene vector is een bottleneck, en het zien van dit falen is de reden waarom attention is uitgevonden.
Een encoder-decoder: de encoder RNN leest de input; zijn uiteindelijke hidden state wordt doorgegeven aan de decoder RNN, die de output symbool voor symbool schrijft en elk antwoord terugvoert. Alles wat de decoder weet over de input moet door die ene vector van 48 getallen heen.
Het opgenomen experiment seq2seq-bottleneck trainde zulke netwerken om een reeks cijfers achterstevoren te schrijven, voor lengtes 4, 8, 12 en 16, twee seeds elk. Het trainde ook een versie met attention, die je zult tegenkomen in Module 13. Kijk voor nu alleen naar de gewone versies.
Roep de Curve op: voorspel de digit accuracy van het plain model bij lengte 16. Kans is 10%.
Woorden en symbolen in deze les
- recurrent network (RNN)
- een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
- encoder-decoder
- one RNN leest de input in als een vector, een andere schrijft de output ervan
- bottleneck
- de enkele vector waar alles doorheen moet moet
Stel my_guess_16 in, en vul daarna plain_acc: lengte tot de gemiddelde cijfer nauwkeurigheid van de twee gewone runs.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.