Dove sono i parametri
Perché è importante "Un modello da 7 miliardi di parametri" è solo questa aritmetica con un d più grande. Saper contare ti dice dove va la memoria e perché la larghezza costa.
Per blocco, le grandi matrici sono Wq, Wk, Wv e Wo (quattro d per d: 4d al quadrato) e il feed-forward (d per 4d e 4d per d: 8d al quadrato). Fanno 12 d al quadrato, più qualche vettore di lunghezza d per i layer norm.
Fuori dai blocchi: gli embedding dei token (V per d, riusati anche come layer di output in questo modello), i vettori di posizione (ctx per d) e il layer norm finale.
Raddoppiare d moltiplica per 4 i parametri dei blocchi, ma non per 4 il tempo. Le esecuzioni registrate di larghezza 128 hanno richiesto in media circa 2.3 volte il tempo della larghezza 64 (da 1.1 a 4 volte da un'esecuzione all'altra: il tempo reale su una macchina condivisa è rumoroso), e la larghezza 32 non è stata più veloce della 64. In modelli così piccoli, i costi fissi per passo (Python, array piccoli) sono una gran parte del tempo; il 4x si vede solo quando dominano le moltiplicazioni di matrici.
Parole e simboli di questa lezione
- testa
- una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
- vettore di posizione
- aggiunto a ogni token così l'attenzione può distinguere l'ordine
- layer norm
- normalizzare ogni vettore per conto suo: media 0, dispersione 1, poi per g più b
- 12 d al quadrato
- i parametri nelle matrici di un blocco
Scrivi count(V, d, layers, ctx) che restituisce il numero esatto di parametri di questo GPT (ogni blocco ha 12 d al quadrato + 4d: due layer norm con g e b). Deve coincidere con i modelli veri.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.