Quelles parties comptent
Pourquoi c'est important Avant d'expliquer une partie, découvre si elle fait quelque chose. Retirer des parties (ablation) est l'effet le moins coûteux que tu peux mesurer, et ça change l'endroit où tu regardes.
Chaque bloc du GPT a une partie attention (qui écrit 'attn_out0', 'attn_out1') et un MLP (qui écrit 'mlp_out0', 'mlp_out1'). Retire-en un à la fois (mets sa sortie à zéro) et mesure la hausse de la perte sur données mises de côté. Puis retire chacune des quatre têtes du bloc 1 une à la fois avec interp.head_effects(model, X, Y, 1).
Un risque : si deux têtes font le même travail, retirer l'une ou l'autre seule ne montre presque rien. Donc compare aussi les quatre hausses de têtes seules, additionnées, avec le retrait de toute l'attention du bloc 1 d'un coup. Si les retirer ensemble fait bien plus de mal que la somme, elles se relaient.
Mots et symboles de cette leçon
- schéma, effet, mécanisme
- trois sortes de preuves : regardé et vu ; changé et la sortie a changé ; expliqué et l'explication a prédit de nouveaux cas
- ablation
- retirer une partie (mettre sa sortie à zéro) et mesurer ce qui change
Remplis rise pour les quatre parties, heads1 avec les quatre hausses de têtes seules, puis affecte à backup True si retirer toute l'attention du bloc 1 coûte plus de deux fois la somme de ses têtes seules, et à biggest la partie dont le retrait coûte le plus.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.