Programma Les 152 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Waar de parameters staan

Waarom dit ertoe doet "Een model met 7 miljard parameters" is gewoon deze rekenkundige som op een grotere schaal. Kunnen tellen vertelt je waar het geheugen naartoe gaat en waarom breedte duur is.

Per blok zijn de grote matrices Wq, Wk, Wv en Wo (vier d bij d: 4d kwadraat) en de feed-forward (d bij 4d en 4d bij d: 8d kwadraat). Dat is 12 d kwadraat, plus een paar vectoren van lengte d voor de layer norms.

Buiten de blokken: de token embeddings (V bij d, ook hergebruikt als de output layer in dit model), de position vectors (ctx bij d) en de uiteindelijke layer norm.

Het verdubbelen van d vermenigvuldigt de blokparameters met 4, maar niet de tijd met 4. De geregistreerde width-128 runs duurden gemiddeld ongeveer 2.3 keer zo lang als width 64 (overal van 1.1 tot 4 keer per run: wall-clock tijd op een gedeelde machine is onbetrouwbaar), en width 32 was niet sneller dan width 64. In modellen die zo klein zijn, vormen vaste kosten per step (Python, kleine arrays) een groot deel van de tijd; de 4x is pas zichtbaar zodra de matrix vermenigvuldigingen dominant zijn.

Woorden en symbolen in deze les
head
one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
positievector
toegevoegd aan elk token zodat attention de volgorde kan zien
layer norm
normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan keer g plus b
12 d kwadraat
de parameters in de matrices van één blok
Jij bent aan de beurt

Schrijf count(V, d, layers, ctx) dat het exacte aantal parameters van deze GPT teruggeeft (elke blok heeft 12 d squared + 4d: twee layer norms met g en b). Het moet overeenkomen met de echte modellen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.