Programme Leçon 222 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Chercher une tête d'induction

Pourquoi c'est important La tête d'induction (Olsson et al. 2022) est l'histoire la plus connue de l'interprétabilité : une tête trouve la copie précédente du token actuel et porte son attention sur le token qui la suit, pour que le modèle puisse continuer une répétition. Elle est réelle dans les grands modèles. L'erreur est de supposer qu'un petit modèle copie de la même façon parce qu'il copie.

Le cours a entraîné un GPT à 2 blocs uniquement à copier : chaque ligne est une suite aléatoire de 4 à 16 lettres, répétée pour remplir les 32 positions. La première suite ne peut pas être prédite (perte d'environ ln 26 = 3.26) ; après elle, chaque lettre peut être copiée. Le modèle a appris à copier : sa perte sur les répétitions vaut environ 0.13 à 0.15 (ça dépend de l'échantillon).

La prédiction des manuels : une tête met l'essentiel de son attention sur la lettre qui suit une copie précédente de la lettre actuelle. Mesure-le. Pour chaque tête, la part de l'attention, moyennée sur les positions de répétition, qui tombe sur des positions j où la lettre avant j égale la lettre actuelle. Compare avec une attention uniforme, qui se répartit également sur toutes les positions précédentes. Puis retire chaque tête et mesure la perte sur les répétitions.

Prédis d'abord : une tête mettra-t-elle plus de la moitié de son attention là ?

Où en est le domaine Les têtes d'induction sont réelles : Olsson et al. (2022) les ont vues se former, dans un changement de phase soudain, dans des modèles entraînés sur du texte ordinaire, y compris des modèles à deux couches avec attention seulement. Pourquoi pas ici ? Ce modèle a des MLP et la normalisation de couche, entraîné brièvement sur une seule tâche de copie synthétique avec plusieurs solutions possibles, et il en a trouvé une autre. C'est le but de la leçon, et aussi sa limite : un jouet qui ne montre pas un effet publié n'est pas une preuve contre lui. Les résultats des petits modèles de ce cours sont des mesures de ces modèles ; à grande échelle, certains tiendront et d'autres non.

Mots et symboles de cette leçon
interprétabilité
découvrir ce qu'un réseau entraîné calcule à l'intérieur, et le vérifier
schéma, effet, mécanisme
trois sortes de preuves : regardé et vu ; changé et la sortie a changé ; expliqué et l'explication a prédit de nouveaux cas
tête d'induction
une tête qui trouve une copie précédente du token actuel et porte son attention sur le token qui la suit
À ton tour

Affecte à my_guess "yes" ou "no". Écris induction_share(A, X, Ls) : pour les poids d'attention A (B, t, t) d'une tête, la moyenne sur les lignes b et les positions de répétition i (de Ls[b] à t - 1) de l'attention sur les positions j ≤ i avec X[b, j - 1] == X[b, i] (j ≥ 1). Remplis share[(layer, head)] pour les 8 têtes et removed[(layer, head)] avec la perte sur les répétitions quand cette tête est mise à zéro. Affecte à needed la tête dont le retrait fait le plus de mal.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.