Remettre une valeur : la transplantation d'activations
Pourquoi c'est important La transplantation d'activations (Meng et al. 2022, Wang et al. 2022) transforme « cette partie s'aligne avec la réponse » en « cette partie porte la réponse », en déplaçant une valeur d'une exécution dans une autre.
Deux entrées qui diffèrent d'un caractère :
- propre : « the gradient of the los » : le GPT donne au caractère suivant « s » une probabilité de 0.91.
- corrompue : « the gradient of the bos » : 0.39.
Exécute l'entrée corrompue, mais à un endroit et une position, mets à la place le vecteur de l'exécution propre. Si la probabilité de « s » remonte à 0.91, ce vecteur portait ce que le « l » disait au modèle. interp.patch(model, clean_ids, bad_ids, site, pos) fait l'échange et renvoie les logits ; interp.next_prob(logits, answer, model) lit la probabilité.
Essaie-la à 'resid0' (avant le bloc 0, donc juste les embeddings), 'resid1' (entre les blocs) et 'final', pour les cinq dernières positions.
Prédis d'abord : à 'resid1', le « l » est-il encore porté à sa propre position, ou ailleurs ?
Mots et symboles de cette leçon
- transplantation d'activations
- exécuter une entrée avec une valeur prise dans l'exécution d'une autre entrée, pour voir ce que porte cette valeur
Affecte à my_guess "own position" ou "somewhere else". Remplis restored[site] avec une liste de cinq probabilités, une par position de len(clean) - 5 jusqu'à la fin. Puis affecte à where[site] le caractère de clean à la position qui la rétablit.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.