Programma Les 220 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Zet één waarde terug: activation patching

Waarom dit ertoe doet Activation patching (Meng et al. 2022, Wang et al. 2022) verandert "dit deel komt overeen met het antwoord" naar "dit deel draagt het antwoord", door één waarde van de ene run naar de andere te verplaatsen.

Twee inputs die één karakter verschillen:

  • clean: "de gradiënt van de los": de GPT geeft het volgende karakter "s" een waarschijnlijkheid van 0.91.
  • corrupted: "de gradiënt van de bos": 0.39.

Voer de corrupte input uit, maar vervang op één plek en op één positie de vector uit de schone run. Als de kans op "s" terugspringt naar 0.91, droeg die vector wat de "l" aan het model vertelde. interp.patch(model, clean_ids, bad_ids, site, pos) doet de vervanging en geeft de logits terug; interp.next_prob(logits, answer, model) leest de kans.

Probeer het bij 'resid0' (voor blok 0, dus alleen de embeddings), 'resid1' (tussen de blokken) en 'final', voor de laatste vijf posities.

Voorspel eerst: op 'resid1', wordt de "l" nog steeds op zijn eigen positie gedragen, of ergens anders?

Woorden en symbolen in deze les
activation patching
het uitvoeren van één input met een waarde die is genomen van de run van een andere input, om te zien wat die waarde met zich meebrengt
Jij bent aan de beurt

Zet my_guess op "eigen positie" of "ergens anders". Vul restored[site] met een lijst van vijf kansen, één per positie van len(clean) - 5 tot het einde. Zet daarna where[site] op het karakter van clean op de positie die het herstelt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.