Quali parti contano
Perché è importante Prima di spiegare una parte, scopri se fa qualcosa. Togliere parti (ablazione) è l'effetto più economico che puoi misurare, e cambia dove guardi.
Ogni blocco del GPT ha una parte di attenzione (scrive 'attn_out0', 'attn_out1') e un MLP (scrive 'mlp_out0', 'mlp_out1'). Toglile una alla volta (metti a zero il loro output) e misura l'aumento della loss sui dati tenuti da parte. Poi togli una alla volta ognuna delle quattro teste del blocco 1 con interp.head_effects(model, X, Y, 1).
Un rischio: se due teste fanno lo stesso lavoro, togliere una sola delle due non mostra quasi niente. Quindi confronta anche la somma dei quattro aumenti delle singole teste con la rimozione di tutta l'attenzione del blocco 1 in una volta. Se toglierle insieme fa molto più danno della somma, si fanno da riserva a vicenda.
Parole e simboli di questa lezione
- schema, effetto, meccanismo
- tre tipi di prova: hai guardato e visto; l'hai cambiato e l'output è cambiato; l'hai spiegato e la spiegazione ha previsto casi nuovi
- ablazione
- togliere una parte (mettere a zero il suo output) e misurare che cosa cambia
Riempi rise per le quattro parti, heads1 con i quattro aumenti delle singole teste, poi imposta backup su True se togliere tutta l'attenzione del blocco 1 costa più del doppio della somma delle sue teste da sole, e biggest sulla parte la cui rimozione costa di più.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.