Programme Leçon 220 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Remettre une valeur : la transplantation d'activations

Pourquoi c'est important La transplantation d'activations (Meng et al. 2022, Wang et al. 2022) transforme « cette partie s'aligne avec la réponse » en « cette partie porte la réponse », en déplaçant une valeur d'une exécution dans une autre.

Deux entrées qui diffèrent d'un caractère :

  • propre : « the gradient of the los » : le GPT donne au caractère suivant « s » une probabilité de 0.91.
  • corrompue : « the gradient of the bos » : 0.39.

Exécute l'entrée corrompue, mais à un endroit et une position, mets à la place le vecteur de l'exécution propre. Si la probabilité de « s » remonte à 0.91, ce vecteur portait ce que le « l » disait au modèle. interp.patch(model, clean_ids, bad_ids, site, pos) fait l'échange et renvoie les logits ; interp.next_prob(logits, answer, model) lit la probabilité.

Essaie-la à 'resid0' (avant le bloc 0, donc juste les embeddings), 'resid1' (entre les blocs) et 'final', pour les cinq dernières positions.

Prédis d'abord : à 'resid1', le « l » est-il encore porté à sa propre position, ou ailleurs ?

Mots et symboles de cette leçon
transplantation d'activations
exécuter une entrée avec une valeur prise dans l'exécution d'une autre entrée, pour voir ce que porte cette valeur
À ton tour

Affecte à my_guess "own position" ou "somewhere else". Remplis restored[site] avec une liste de cinq probabilités, une par position de len(clean) - 5 jusqu'à la fin. Puis affecte à where[site] le caractère de clean à la position qui la rétablit.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.