Waar de parameters staan
Waarom dit ertoe doet "Een model met 7 miljard parameters" is gewoon deze rekenkundige som op een grotere schaal. Kunnen tellen vertelt je waar het geheugen naartoe gaat en waarom breedte duur is.
Per blok zijn de grote matrices Wq, Wk, Wv en Wo (vier d bij d: 4d kwadraat) en de feed-forward (d bij 4d en 4d bij d: 8d kwadraat). Dat is 12 d kwadraat, plus een paar vectoren van lengte d voor de layer norms.
Buiten de blokken: de token embeddings (V bij d, ook hergebruikt als de output layer in dit model), de position vectors (ctx bij d) en de uiteindelijke layer norm.
Het verdubbelen van d vermenigvuldigt de blokparameters met 4, maar niet de tijd met 4. De geregistreerde width-128 runs duurden gemiddeld ongeveer 2.3 keer zo lang als width 64 (overal van 1.1 tot 4 keer per run: wall-clock tijd op een gedeelde machine is onbetrouwbaar), en width 32 was niet sneller dan width 64. In modellen die zo klein zijn, vormen vaste kosten per step (Python, kleine arrays) een groot deel van de tijd; de 4x is pas zichtbaar zodra de matrix vermenigvuldigingen dominant zijn.
Woorden en symbolen in deze les
- head
- one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
- positievector
- toegevoegd aan elk token zodat attention de volgorde kan zien
- layer norm
- normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan keer g plus b
- 12 d kwadraat
- de parameters in de matrices van één blok
Schrijf count(V, d, layers, ctx) dat het exacte aantal parameters van deze GPT teruggeeft (elke blok heeft 12 d squared + 4d: twee layer norms met g en b). Het moet overeenkomen met de echte modellen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.