Un blocco transformer, a mano
Perché è importante Un GPT è lo stesso blocco impilato. Scrivine uno in semplice NumPy, eseguilo con i veri pesi del modello registrato, e se i tuoi numeri coincidono con quelli del modello, capisci ogni riga di un transformer.
Guardalo
Avvia l'animazione. Un blocco prende h (t posizioni per d) e fa due cose, ognuna riaggiunta su h (il percorso residuo del Modulo 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
I nomi del modello registrato: qkv{l} contiene Wq, Wk e Wv uno accanto all'altro (d per 3d), o{l} è Wo, g1{l}, b1{l} e g2{l}, b2{l} sono i due layer norm, w1{l}, w2{l} il feed-forward. La testa h usa le colonne da h per 16 a (h + 1) per 16 di ciascuna tra Q, K e V.
Parole e simboli di questa lezione
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- testa
- una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
- layer norm
- normalizzare ogni vettore per conto suo: media 0, dispersione 1, poi per g più b
- blocco transformer
- h + attention(norm(h)), poi h + feed-forward(norm(h))
Scrivi block(h, l) per una sequenza (h è t per d). Il modello completo è assemblato per te; i suoi logit devono coincidere con model.logits.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.