Waar die parameters is
Waarom dit saak maak " 'n 7 miljard parameter model" is net hierdie rekenkunde by 'n groter d. Om te kan tel vertel vir jou waar geheue gaan en waarom wydte duur is.
Per blok is die groot matrikse Wq, Wk, Wv en Wo (vier d by d: 4d squared) en die feed-forward (d by 4d en 4d by d: 8d squared). Dit is 12 d squared, plus 'n paar vektore van lengte d vir die layer norms.
Buiten die blokke: die token embeddings (V by d, ook hergebruik as die output layer in hierdie model), die position vectors (ctx by d) en die finale layer norm.
Doubling d vermenigvuldig die blokparameters met 4, maar nie die tyd met 4 nie. Die aangetekende width-128 runs het gemiddeld ongeveer 2.3 keer so lank geneem soos width 64 (ensies van 1.1 tot 4 keer van run tot run: wall-clock tyd op 'n gedeelde masjien is onvoorspelbaar), en width 32 was nie vinniger as width 64 nie. In modelle so klein is vaste koste per stap (Python, klein arrays) 'n groot deel van die tyd; die 4x wys eers wanneer die matrix multiplies oorheers.
Woorde en simbole in hierdie les
- head
- one van H nouer aandag omsluit wat langs mekaar loop, elk met sy eie patroon
- posisiewektor
- gevoeg by elke token sodat aandag die volgorde kan vertel
- laagnorm
- normalise elke vektor op sy eie: gemiddelde 0, spreiding 1, dan maal g plus b
- 12 d kwadraat
- die parameters in een blok se matrices
Skryf count(V, d, layers, ctx) wat die presiese parameter telling van hierdie GPT teruggee (elke blok het 12 d squared + 4d: twee layer norms met g en b). Dit moet by die werklike modelle pas.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.