Programma Lezione 151 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Un blocco transformer, a mano

Perché è importante Un GPT è lo stesso blocco impilato. Scrivine uno in semplice NumPy, eseguilo con i veri pesi del modello registrato, e se i tuoi numeri coincidono con quelli del modello, capisci ogni riga di un transformer.

Guardalo

Avvia l'animazione. Un blocco prende h (t posizioni per d) e fa due cose, ognuna riaggiunta su h (il percorso residuo del Modulo 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

I nomi del modello registrato: qkv{l} contiene Wq, Wk e Wv uno accanto all'altro (d per 3d), o{l} è Wo, g1{l}, b1{l} e g2{l}, b2{l} sono i due layer norm, w1{l}, w2{l} il feed-forward. La testa h usa le colonne da h per 16 a (h + 1) per 16 di ciascuna tra Q, K e V.

Parole e simboli di questa lezione
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
testa
una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
layer norm
normalizzare ogni vettore per conto suo: media 0, dispersione 1, poi per g più b
blocco transformer
h + attention(norm(h)), poi h + feed-forward(norm(h))
Tocca a te

Scrivi block(h, l) per una sequenza (h è t per d). Il modello completo è assemblato per te; i suoi logit devono coincidere con model.logits.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.