Programma Les 145 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

De causale masker: niet spieken

Waarom dit ertoe doet Een model dat getraind wordt om het volgende teken te voorspellen, mag het volgende teken niet zien. Zonder masker kan het het antwoord gewoon kopiëren, er tijdens de training geweldig uitzien en daarna falen bij het genereren, want tijdens het genereren bestaat de toekomst nog niet.

Bekijk het

Speel de animatie af. Positie i mag alleen naar posities 0 tot en met i kijken. Vóór de softmax wordt elke score boven de diagonaal op min oneindig gezet, zodat het gewicht precies 0 wordt. De gewichten vormen dan een benedendriehoek.

De test op een lek is direct: verander een teken op positie j, en niets wat het model berekent voor posities vóór j mag veranderen.

Toen de cursus een GPT met breedte 32 zonder het masker 1.200 stappen trainde, zakte het trainingsverlies naar 0.10, tegenover 1.51 met het masker: het had geleerd het antwoord vanaf de volgende positie te kopiëren, bijna perfect. Eerlijk gemeten, op ongeziene tekst en zonder vooruit te mogen kijken, was het verlies 8.6 tegenover 2.3. Het lagere getal was een leugen: het model was veel slechter. (In het begin, bij 400 stappen, leken de twee runs nog op elkaar, 2.28 tegenover 2.24. Kopiëren ontdekken duurt even, en daarna neemt het het over.)

Woorden en symbolen in deze les
attention
softmax van query-key-scores, gebruikt om de waarden te middelen
causaal masker
scores boven de diagonaal op min oneindig gezet: geen enkele positie ziet de toekomst
head
een van H smallere attentions die naast elkaar draaien, elk met een eigen patroon
Jij bent aan de beurt

Schrijf causal_attention(X, Wq, Wk, Wv) zoals les 4 maar gemaskeerd. Dan leaks(f): return True als het veranderen van de laatste rij van een willekeurige X een eerdere rij van de output van f verandert. Hier is f elke attention functie die wordt aangeroepen zoals de jouwe, f(X, Wq, Wk, Wv), die (output, weights) retourneert; maak willekeurige X en weights binnen leaks.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.