Programme Leçon 221 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Quelles parties comptent

Pourquoi c'est important Avant d'expliquer une partie, découvre si elle fait quelque chose. Retirer des parties (ablation) est l'effet le moins coûteux que tu peux mesurer, et ça change l'endroit où tu regardes.

Chaque bloc du GPT a une partie attention (qui écrit 'attn_out0', 'attn_out1') et un MLP (qui écrit 'mlp_out0', 'mlp_out1'). Retire-en un à la fois (mets sa sortie à zéro) et mesure la hausse de la perte sur données mises de côté. Puis retire chacune des quatre têtes du bloc 1 une à la fois avec interp.head_effects(model, X, Y, 1).

Un risque : si deux têtes font le même travail, retirer l'une ou l'autre seule ne montre presque rien. Donc compare aussi les quatre hausses de têtes seules, additionnées, avec le retrait de toute l'attention du bloc 1 d'un coup. Si les retirer ensemble fait bien plus de mal que la somme, elles se relaient.

Mots et symboles de cette leçon
schéma, effet, mécanisme
trois sortes de preuves : regardé et vu ; changé et la sortie a changé ; expliqué et l'explication a prédit de nouveaux cas
ablation
retirer une partie (mettre sa sortie à zéro) et mesurer ce qui change
À ton tour

Remplis rise pour les quatre parties, heads1 avec les quatre hausses de têtes seules, puis affecte à backup True si retirer toute l'attention du bloc 1 coûte plus de deux fois la somme de ses têtes seules, et à biggest la partie dont le retrait coûte le plus.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.