Kurrikulum Leson 152 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Waar die parameters is

Waarom dit saak maak " 'n 7 miljard parameter model" is net hierdie rekenkunde by 'n groter d. Om te kan tel vertel vir jou waar geheue gaan en waarom wydte duur is.

Per blok is die groot matrikse Wq, Wk, Wv en Wo (vier d by d: 4d squared) en die feed-forward (d by 4d en 4d by d: 8d squared). Dit is 12 d squared, plus 'n paar vektore van lengte d vir die layer norms.

Buiten die blokke: die token embeddings (V by d, ook hergebruik as die output layer in hierdie model), die position vectors (ctx by d) en die finale layer norm.

Doubling d vermenigvuldig die blokparameters met 4, maar nie die tyd met 4 nie. Die aangetekende width-128 runs het gemiddeld ongeveer 2.3 keer so lank geneem soos width 64 (ensies van 1.1 tot 4 keer van run tot run: wall-clock tyd op 'n gedeelde masjien is onvoorspelbaar), en width 32 was nie vinniger as width 64 nie. In modelle so klein is vaste koste per stap (Python, klein arrays) 'n groot deel van die tyd; die 4x wys eers wanneer die matrix multiplies oorheers.

Woorde en simbole in hierdie les
head
one van H nouer aandag omsluit wat langs mekaar loop, elk met sy eie patroon
posisiewektor
gevoeg by elke token sodat aandag die volgorde kan vertel
laagnorm
normalise elke vektor op sy eie: gemiddelde 0, spreiding 1, dan maal g plus b
12 d kwadraat
die parameters in een blok se matrices
Jou beurt

Skryf count(V, d, layers, ctx) wat die presiese parameter telling van hierdie GPT teruggee (elke blok het 12 d squared + 4d: twee layer norms met g en b). Dit moet by die werklike modelle pas.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.