Programma Les 151 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Eén transformer block, met de hand

Waarom dit ertoe doet Een GPT is dezelfde blokken gestapeld. Schrijf er een met gewoon NumPy, voer het uit met de echte weights van het opgenomen model, en als je getallen overeenkomen met die van het model zelf, begrijp je elke regel van een transformer.

Bekijk het

Speel de animatie af. Een blok neemt h (t posities door d) en doet twee dingen, elk toegevoegd aan h (het residual pad van Module 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

De namen van het opgenomen model: qkv{l} bevat Wq, Wk en Wv naast elkaar (d door 3d), o{l} is Wo, g1{l}, b1{l} en g2{l}, b2{l} zijn de twee layer norms, w1{l}, w2{l} is de feed-forward. Head h gebruikt kolommen h keer 16 tot (h + 1) keer 16 van elk van Q, K en V.

Woorden en symbolen in deze les
let op
softmax van query-key scores, gebruikt om de waarden te middelen
head
one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
layer norm
normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan keer g plus b
transformer block
h + attention(norm(h)), dan h + feed-forward(norm(h))
Jij bent aan de beurt

Schrijf block(h, l) voor één reeks (h is t door d). Het volledige model is voor je samengesteld; de logits moeten overeenkomen met model.logits.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.