Programma Les 148 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Aandacht heeft geen gevoel voor volgorde

Waarom dit ertoe doet "Hond bijt man" en "man bijt hond" gebruiken dezelfde woorden. Self-attention kan ze op zichzelf niet van elkaar onderscheiden. Begrijpen waarom verklaart het extra ingrediënt dat elke transformer toevoegt.

Shuffle de rijen van X en de uitvoerrijen van self-attention worden op dezelfde manier gehusseld, niets anders verandert. Het resultaat van elke positie hangt af van welke vectoren aanwezig zijn, niet van waar ze zitten. (Met de causal mask is dit niet helemaal waar: positie i ziet precies i + 1 tokens, dus een model kan leren om ze te tellen, en causale modellen zonder positievectoren leren de volgorde op die manier. Maar het is traag en onbetrouwbaar; expliciete positievectoren maken de volgorde eenvoudig.)

Dus transformers voegen een position vector toe aan de embedding van elk token voor de eerste laag. De opgenomen GPT leerde één vector per positie, 32 van hen. Wat gebeurt er met de voorspellingen als we deze wissen?

Woorden en symbolen in deze les
let op
softmax van query-key scores, gebruikt om de waarden te middelen
self-attention
elke positie let op de posities van dezelfde tekst
causal mask
scores boven de diagonaal worden ingesteld op min oneindig: geen positie ziet de toekomst
positievector
toegevoegd aan elk token zodat attention de volgorde kan zien
Jij bent aan de beurt

Schrijf shuffle_check(f): True als het permuteren van de rijen van een willekeurige X de uitvoerrijen van f op dezelfde manier permuteert. Hier geeft f(X, Wq, Wk, Wv) alleen de uitvoer terug, zoals attn hieronder; maak willekeurige X en weights binnen shuffle_check. Vul daarna with_pos en without_pos in: de vastgelegde loss van het model (model.eval_loss(held, n=32)) zoals het is en met model.P["pos"].data ingesteld op nullen (zet het daarna terug).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.