Zet één waarde terug: activation patching
Waarom dit ertoe doet Activation patching (Meng et al. 2022, Wang et al. 2022) verandert "dit deel komt overeen met het antwoord" naar "dit deel draagt het antwoord", door één waarde van de ene run naar de andere te verplaatsen.
Twee inputs die één karakter verschillen:
- clean: "de gradiënt van de los": de GPT geeft het volgende karakter "s" een waarschijnlijkheid van 0.91.
- corrupted: "de gradiënt van de bos": 0.39.
Voer de corrupte input uit, maar vervang op één plek en op één positie de vector uit de schone run. Als de kans op "s" terugspringt naar 0.91, droeg die vector wat de "l" aan het model vertelde. interp.patch(model, clean_ids, bad_ids, site, pos) doet de vervanging en geeft de logits terug; interp.next_prob(logits, answer, model) leest de kans.
Probeer het bij 'resid0' (voor blok 0, dus alleen de embeddings), 'resid1' (tussen de blokken) en 'final', voor de laatste vijf posities.
Voorspel eerst: op 'resid1', wordt de "l" nog steeds op zijn eigen positie gedragen, of ergens anders?
Woorden en symbolen in deze les
- activation patching
- het uitvoeren van één input met een waarde die is genomen van de run van een andere input, om te zien wat die waarde met zich meebrengt
Zet my_guess op "eigen positie" of "ergens anders". Vul restored[site] met een lijst van vijf kansen, één per positie van len(clean) - 5 tot het einde. Zet daarna where[site] op het karakter van clean op de positie die het herstelt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.