Programma Lezione 221 di 246 · Modulo 21: Guardare dentro un modello
Modulo 21: Guardare dentro un modello

Quali parti contano

Perché è importante Prima di spiegare una parte, scopri se fa qualcosa. Togliere parti (ablazione) è l'effetto più economico che puoi misurare, e cambia dove guardi.

Ogni blocco del GPT ha una parte di attenzione (scrive 'attn_out0', 'attn_out1') e un MLP (scrive 'mlp_out0', 'mlp_out1'). Toglile una alla volta (metti a zero il loro output) e misura l'aumento della loss sui dati tenuti da parte. Poi togli una alla volta ognuna delle quattro teste del blocco 1 con interp.head_effects(model, X, Y, 1).

Un rischio: se due teste fanno lo stesso lavoro, togliere una sola delle due non mostra quasi niente. Quindi confronta anche la somma dei quattro aumenti delle singole teste con la rimozione di tutta l'attenzione del blocco 1 in una volta. Se toglierle insieme fa molto più danno della somma, si fanno da riserva a vicenda.

Parole e simboli di questa lezione
schema, effetto, meccanismo
tre tipi di prova: hai guardato e visto; l'hai cambiato e l'output è cambiato; l'hai spiegato e la spiegazione ha previsto casi nuovi
ablazione
togliere una parte (mettere a zero il suo output) e misurare che cosa cambia
Tocca a te

Riempi rise per le quattro parti, heads1 con i quattro aumenti delle singole teste, poi imposta backup su True se togliere tutta l'attenzione del blocco 1 costa più del doppio della somma delle sue teste da sole, e biggest sulla parte la cui rimozione costa di più.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.