Aandacht heeft geen gevoel voor volgorde
Waarom dit ertoe doet "Hond bijt man" en "man bijt hond" gebruiken dezelfde woorden. Self-attention kan ze op zichzelf niet van elkaar onderscheiden. Begrijpen waarom verklaart het extra ingrediënt dat elke transformer toevoegt.
Shuffle de rijen van X en de uitvoerrijen van self-attention worden op dezelfde manier gehusseld, niets anders verandert. Het resultaat van elke positie hangt af van welke vectoren aanwezig zijn, niet van waar ze zitten. (Met de causal mask is dit niet helemaal waar: positie i ziet precies i + 1 tokens, dus een model kan leren om ze te tellen, en causale modellen zonder positievectoren leren de volgorde op die manier. Maar het is traag en onbetrouwbaar; expliciete positievectoren maken de volgorde eenvoudig.)
Dus transformers voegen een position vector toe aan de embedding van elk token voor de eerste laag. De opgenomen GPT leerde één vector per positie, 32 van hen. Wat gebeurt er met de voorspellingen als we deze wissen?
Woorden en symbolen in deze les
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
- self-attention
- elke positie let op de posities van dezelfde tekst
- causal mask
- scores boven de diagonaal worden ingesteld op min oneindig: geen positie ziet de toekomst
- positievector
- toegevoegd aan elk token zodat attention de volgorde kan zien
Schrijf shuffle_check(f): True als het permuteren van de rijen van een willekeurige X de uitvoerrijen van f op dezelfde manier permuteert. Hier geeft f(X, Wq, Wk, Wv) alleen de uitvoer terug, zoals attn hieronder; maak willekeurige X en weights binnen shuffle_check. Vul daarna with_pos en without_pos in: de vastgelegde loss van het model (model.eval_loss(held, n=32)) zoals het is en met model.P["pos"].data ingesteld op nullen (zet het daarna terug).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.