Aandacht lost de flessenhals op
Waarom dit ertoe doet Attention werd in 2014 uitgevonden om precies het probleem op te lossen dat je in Module 11 hebt gemeten: een encoder die een hele zin in één vector perst.
In het opgenomen seq2seq-bottleneck experiment kijkt de decoder van het attention model bij elke stap naar alle verborgen toestanden van de encoder (zijn query is de eigen toestand van de decoder). Het is niet langer afhankelijk van één uiteindelijke vector; het kan recht terugkijken naar het cijfer dat het nodig heeft.
Predict: bij lengte 16, waar het gewone model ongeveer 59% van de cijfers goed had, wat haalt het attention model?
Woorden en symbolen in deze les
- query, key, value
- waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
Zet my_guess op een getal tussen 0 en 1: je gok voor de digit accuracy van het attention model bij lengte 16. Vul acc: (model, length) in met de gemiddelde digit accuracy van de twee seeds, voor beide modellen en alle vier lengtes, en gain_at_16.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.