Programma Lezione 222 di 246 · Modulo 21: Guardare dentro un modello
Modulo 21: Guardare dentro un modello

Cercare una induction head

Perché è importante L'induction head (Olsson et al. 2022) è la storia più famosa dell'interpretabilità: una testa trova la copia precedente del token attuale e presta attenzione al token dopo di essa, così il modello può continuare una ripetizione. Nei modelli grandi esiste davvero. L'errore è dare per scontato che un modello piccolo copi allo stesso modo perché copia.

Il corso ha addestrato un GPT a 2 blocchi solo a copiare: ogni riga è una sequenza casuale di 4-16 lettere, ripetuta fino a riempire le 32 posizioni. La prima sequenza non si può prevedere (loss circa ln 26 = 3.26); dopo, ogni lettera si può copiare. Il modello ha imparato a copiare: la sua loss sulle ripetizioni è circa 0.13-0.15 (dipende dal campione).

La previsione da manuale: qualche testa mette la maggior parte della sua attenzione su la lettera dopo una copia precedente della lettera attuale. Misuralo. Per ogni testa, la quota di attenzione, mediata sulle posizioni di ripetizione, che cade su posizioni j in cui la lettera prima di j è uguale alla lettera attuale. Confrontala con l'attenzione uniforme, che si distribuisce in modo uguale su tutte le posizioni precedenti. Poi togli ogni testa e misura la loss sulle ripetizioni.

Prima prevedi: una testa metterà lì più di metà della sua attenzione?

Dove si trova oggi il campo Le induction head esistono davvero: Olsson et al. (2022) le hanno viste formarsi, in un improvviso cambio di fase, in modelli addestrati su testo comune, inclusi modelli a due layer con sola attenzione. Perché non qui? Questo modello ha MLP e layer norm, è stato addestrato brevemente su un unico compito sintetico di copia con diverse soluzioni possibili, e ne ha trovata un'altra. È questo il punto della lezione, e anche il suo limite: un modello giocattolo che non mostra un effetto pubblicato non è una prova contro di esso. I risultati dei piccoli modelli di questo corso sono misure di quei modelli; su larga scala, alcuni reggeranno e altri no.

Parole e simboli di questa lezione
interpretabilità
scoprire che cosa calcola dentro una rete addestrata, e controllarlo
schema, effetto, meccanismo
tre tipi di prova: hai guardato e visto; l'hai cambiato e l'output è cambiato; l'hai spiegato e la spiegazione ha previsto casi nuovi
induction head
una testa che trova una copia precedente del token attuale e presta attenzione al token dopo di essa
Tocca a te

Imposta my_guess su "yes" o "no". Scrivi induction_share(A, X, Ls): per i pesi di attenzione A (B, t, t) di una testa, la media sulle righe b e sulle posizioni di ripetizione i (da Ls[b] a t - 1) dell'attenzione sulle posizioni j ≤ i con X[b, j - 1] == X[b, i] (j ≥ 1). Riempi share[(layer, head)] per le 8 teste e removed[(layer, head)] con la loss sulle ripetizioni quando quella testa è messa a zero. Imposta needed sulla testa la cui rimozione fa più danno.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.