Programma Lezione 155 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Che cosa guardano le teste

Perché è importante I pesi dell'attenzione si possono leggere. Guardare che cosa fanno le teste addestrate è l'inizio dell'interpretabilità: capire un modello dal suo interno, non solo dai suoi output.

Il modello registrato di larghezza 64 ha 2 layer da 4 teste. Per ogni testa, misura quanta attenzione, in media, una posizione dà al carattere subito prima. Se una testa distribuisse la sua attenzione in modo uniforme su tutto ciò che può vedere, quel numero sarebbe circa 0.10 su un frammento di 32 caratteri.

Prevedi: le teste di quale layer si specializzano in "guarda il carattere precedente"?

Parole e simboli di questa lezione
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
testa
una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Tocca a te

Imposta my_guess su 0 o 1. Scrivi prev_share(A) per una matrice di attenzione t per t: la media di A[i, i - 1] per i da 1 a t - 1. Riempi share: da (layer, head) alla media di prev_share sui 40 frammenti tenuti da parte, usando attention_maps.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.