Eén transformer block, met de hand
Waarom dit ertoe doet Een GPT is dezelfde blokken gestapeld. Schrijf er een met gewoon NumPy, voer het uit met de echte weights van het opgenomen model, en als je getallen overeenkomen met die van het model zelf, begrijp je elke regel van een transformer.
Bekijk het
Speel de animatie af. Een blok neemt h (t posities door d) en doet twee dingen, elk toegevoegd aan h (het residual pad van Module 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
De namen van het opgenomen model: qkv{l} bevat Wq, Wk en Wv naast elkaar (d door 3d), o{l} is Wo, g1{l}, b1{l} en g2{l}, b2{l} zijn de twee layer norms, w1{l}, w2{l} is de feed-forward. Head h gebruikt kolommen h keer 16 tot (h + 1) keer 16 van elk van Q, K en V.
Woorden en symbolen in deze les
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
- head
- one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
- layer norm
- normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan keer g plus b
- transformer block
- h + attention(norm(h)), dan h + feed-forward(norm(h))
Schrijf block(h, l) voor één reeks (h is t door d). Het volledige model is voor je samengesteld; de logits moeten overeenkomen met model.logits.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.