Lehrplan Lektion 220 von 246 · Modul 21: Ein Blick in ein Modell
Modul 21: Ein Blick in ein Modell

Lege einen Wert zurück: activation patching

Warum das wichtig ist Activation patching (Meng et al. 2022, Wang et al. 2022) verwandelt "dieser Teil passt zur versiegelten Antwort" in "dieser Teil trägt die versiegelte Antwort", indem ein Wert von einem Durchlauf in einen anderen verschoben wird.

Zwei Eingaben, die sich in einem Zeichen unterscheiden:

  • clean: "der Gradient des los": das GPT gibt dem nächsten Zeichen "s" eine Wahrscheinlichkeit von 0.91.
  • corrupted: "der gradient des bos": 0.39.

Führe den korrumpierten Input aus, aber tausche an einer Stelle und einer Position den Vektor aus dem sauberen Durchlauf ein. Wenn die Wahrscheinlichkeit von "s" zurück auf 0.91 springt, hat dieser Vektor das transportiert, was das "l" dem Modell sagte. interp.patch(model, clean_ids, bad_ids, site, pos) führt den Tausch durch und gibt die logits zurück; interp.next_prob(logits, answer, model) liest die Wahrscheinlichkeit.

Versuche es bei 'resid0' (vor Block 0, also nur die Embeddings), 'resid1' (zwischen den Blöcken) und 'final' für die letzten fünf Positionen.

Zuerst vorhersagen: an 'resid1', wird das "l" immer noch an seiner eigenen Position getragen oder woanders?

Wörter und Symbole in dieser Lektion
aktivierungs-Patching
eine Eingabe mit einem Wert aus dem Durchlauf einer anderen Eingabe ausführen, um zu sehen, was dieser Wert transportiert
Du bist dran

Setze my_guess auf "own position" oder "somewhere else". Fülle restored[site] mit einer Liste von fünf Wahrscheinlichkeiten, eine pro Position von len(clean) - 5 bis zum Ende. Setze dann where[site] auf den Charakter von clean an der Position, die es wiederherstellt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.