De causale masker: niet spieken
Waarom dit ertoe doet Een model dat getraind wordt om het volgende teken te voorspellen, mag het volgende teken niet zien. Zonder masker kan het het antwoord gewoon kopiëren, er tijdens de training geweldig uitzien en daarna falen bij het genereren, want tijdens het genereren bestaat de toekomst nog niet.
Bekijk het
Speel de animatie af. Positie i mag alleen naar posities 0 tot en met i kijken. Vóór de softmax wordt elke score boven de diagonaal op min oneindig gezet, zodat het gewicht precies 0 wordt. De gewichten vormen dan een benedendriehoek.
De test op een lek is direct: verander een teken op positie j, en niets wat het model berekent voor posities vóór j mag veranderen.
Toen de cursus een GPT met breedte 32 zonder het masker 1.200 stappen trainde, zakte het trainingsverlies naar 0.10, tegenover 1.51 met het masker: het had geleerd het antwoord vanaf de volgende positie te kopiëren, bijna perfect. Eerlijk gemeten, op ongeziene tekst en zonder vooruit te mogen kijken, was het verlies 8.6 tegenover 2.3. Het lagere getal was een leugen: het model was veel slechter. (In het begin, bij 400 stappen, leken de twee runs nog op elkaar, 2.28 tegenover 2.24. Kopiëren ontdekken duurt even, en daarna neemt het het over.)
Woorden en symbolen in deze les
- attention
- softmax van query-key-scores, gebruikt om de waarden te middelen
- causaal masker
- scores boven de diagonaal op min oneindig gezet: geen enkele positie ziet de toekomst
- head
- een van H smallere attentions die naast elkaar draaien, elk met een eigen patroon
Schrijf causal_attention(X, Wq, Wk, Wv) zoals les 4 maar gemaskeerd. Dan leaks(f): return True als het veranderen van de laatste rij van een willekeurige X een eerdere rij van de output van f verandert. Hier is f elke attention functie die wordt aangeroepen zoals de jouwe, f(X, Wq, Wk, Wv), die (output, weights) retourneert; maak willekeurige X en weights binnen leaks.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.