Programma Lezione 152 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Dove sono i parametri

Perché è importante "Un modello da 7 miliardi di parametri" è solo questa aritmetica con un d più grande. Saper contare ti dice dove va la memoria e perché la larghezza costa.

Per blocco, le grandi matrici sono Wq, Wk, Wv e Wo (quattro d per d: 4d al quadrato) e il feed-forward (d per 4d e 4d per d: 8d al quadrato). Fanno 12 d al quadrato, più qualche vettore di lunghezza d per i layer norm.

Fuori dai blocchi: gli embedding dei token (V per d, riusati anche come layer di output in questo modello), i vettori di posizione (ctx per d) e il layer norm finale.

Raddoppiare d moltiplica per 4 i parametri dei blocchi, ma non per 4 il tempo. Le esecuzioni registrate di larghezza 128 hanno richiesto in media circa 2.3 volte il tempo della larghezza 64 (da 1.1 a 4 volte da un'esecuzione all'altra: il tempo reale su una macchina condivisa è rumoroso), e la larghezza 32 non è stata più veloce della 64. In modelli così piccoli, i costi fissi per passo (Python, array piccoli) sono una gran parte del tempo; il 4x si vede solo quando dominano le moltiplicazioni di matrici.

Parole e simboli di questa lezione
testa
una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
vettore di posizione
aggiunto a ogni token così l'attenzione può distinguere l'ordine
layer norm
normalizzare ogni vettore per conto suo: media 0, dispersione 1, poi per g più b
12 d al quadrato
i parametri nelle matrici di un blocco
Tocca a te

Scrivi count(V, d, layers, ctx) che restituisce il numero esatto di parametri di questo GPT (ogni blocco ha 12 d al quadrato + 4d: due layer norm con g e b). Deve coincidere con i modelli veri.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.