Programme Leçon 231 sur 246 · Module 22 : Juger les affirmations
Module 22 : Juger les affirmations

La façon de retirer une partie change la réponse

Pourquoi c'est important « Retirer cette partie fait monter la perte de X » ressemble à un fait sur la partie. C'est en partie un fait sur la façon dont elle a été retirée.

Au module 21, tu as retiré des parties du GPT en mettant leur sortie à zéro. Mais le reste du réseau n'a jamais vu de zéro à cet endroit pendant l'entraînement : zéro peut être une entrée qu'il n'a jamais rencontrée, donc les dégâts mesurent le choc autant que la perte d'information. Un retrait plus doux remplace la sortie par sa moyenne sur beaucoup d'entrées (ablation par la moyenne) : la partie ne porte plus rien sur cette entrée, mais la couche suivante reçoit encore une valeur de la taille habituelle.

Mesure les deux pour les quatre parties : 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. La moyenne vient de cache[site].mean((0, 1)).

Prédis d'abord : pour le MLP du bloc 0, l'ablation par la moyenne coûtera-t-elle moins que la mise à zéro, ou à peu près pareil ?

Mots et symboles de cette leçon
ablation par la moyenne
remplacer la sortie d'une partie par sa moyenne au lieu de zéro
À ton tour

Affecte à my_guess "less" ou "same". Remplis zero[site] et mean[site] avec la hausse de la perte. Affecte à most_overstated la partie pour laquelle la mise à zéro exagère le plus l'effet.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.