La façon de retirer une partie change la réponse
Pourquoi c'est important « Retirer cette partie fait monter la perte de X » ressemble à un fait sur la partie. C'est en partie un fait sur la façon dont elle a été retirée.
Au module 21, tu as retiré des parties du GPT en mettant leur sortie à zéro. Mais le reste du réseau n'a jamais vu de zéro à cet endroit pendant l'entraînement : zéro peut être une entrée qu'il n'a jamais rencontrée, donc les dégâts mesurent le choc autant que la perte d'information. Un retrait plus doux remplace la sortie par sa moyenne sur beaucoup d'entrées (ablation par la moyenne) : la partie ne porte plus rien sur cette entrée, mais la couche suivante reçoit encore une valeur de la taille habituelle.
Mesure les deux pour les quatre parties : 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. La moyenne vient de cache[site].mean((0, 1)).
Prédis d'abord : pour le MLP du bloc 0, l'ablation par la moyenne coûtera-t-elle moins que la mise à zéro, ou à peu près pareil ?
Mots et symboles de cette leçon
- ablation par la moyenne
- remplacer la sortie d'une partie par sa moyenne au lieu de zéro
Affecte à my_guess "less" ou "same". Remplis zero[site] et mean[site] avec la hausse de la perte. Affecte à most_overstated la partie pour laquelle la mise à zéro exagère le plus l'effet.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.