Rimetti un valore: activation patching
Perché è importante L'activation patching (Meng et al. 2022, Wang et al. 2022) trasforma "questa parte si allinea con la risposta" in "questa parte porta la risposta", spostando un valore da un'esecuzione a un'altra.
Due input che differiscono di un carattere:
- pulito: "the gradient of the los": il GPT dà al carattere successivo "s" una probabilità di 0.91.
- corrotto: "the gradient of the bos": 0.39.
Esegui l'input corrotto, ma in un punto e in una posizione, sostituisci il vettore dell'esecuzione pulita. Se la probabilità di "s" torna a 0.91, quel vettore portava ciò che la "l" diceva al modello. interp.patch(model, clean_ids, bad_ids, site, pos) fa la sostituzione e restituisce i logit; interp.next_prob(logits, answer, model) legge la probabilità.
Provalo in 'resid0' (prima del blocco 0, quindi solo gli embedding), 'resid1' (tra i blocchi) e 'final', per le ultime cinque posizioni.
Prima prevedi: in 'resid1', la "l" viene ancora portata nella sua posizione, o da qualche altra parte?
Parole e simboli di questa lezione
- activation patching
- eseguire un input con un valore preso dall'esecuzione di un altro input, per vedere che cosa porta quel valore
Imposta my_guess su "own position" o "somewhere else". Riempi restored[site] con una lista di cinque probabilità, una per posizione da len(clean) - 5 alla fine. Poi imposta where[site] sul carattere di clean nella posizione che la ripristina.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.