Programme Leçon 224 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Démêler : un autoencodeur clairsemé

Pourquoi c'est important Si les caractéristiques sont stockées en superposition, regarder les unités ne les trouvera pas. Un autoencodeur clairsemé (Bricken et al. 2023, Cunningham et al. 2023) essaie de défaire ça : reconstruire chaque vecteur à partir de bien plus de directions qu'il n'a de nombres, mais seulement quelques-unes à la fois.

Prends les vecteurs de 64 nombres du GPT après le bloc 1, pour 19,200 caractères de texte de leçon. Un autoencodeur clairsemé à 256 caractéristiques calcule f = relu(z We + be) et reconstruit z = f Wd. La perte est l'erreur de reconstruction plus l1 fois la taille totale de f, ce qui pousse la plupart des caractéristiques à exactement zéro.

interp.train_sae(A, features=256, l1=...) en entraîne un ; sae.unexplained(A) est la part de la dispersion des vecteurs que la reconstruction manque (0 est parfait) et sae.features(A) donne f.

Prédis d'abord : avec une forte poussée (l1 = 0.3), la reconstruction expliquera-t-elle encore l'essentiel de la dispersion (part inexpliquée sous 0.2) ?

Mots et symboles de cette leçon
superposition
stocker plus de caractéristiques qu'il n'y a de nombres, sous forme de directions rarement actives ensemble
autoencodeur clairsemé
une couche large entraînée à reconstruire des vecteurs à partir de quelques caractéristiques actives à la fois
À ton tour

Affecte à my_guess "yes" ou "no". Entraîne avec l1 à 0.03 et 0.3 (600 pas de 128 vecteurs chacun). Remplis unexplained[l1] sur les vecteurs mis de côté A_new, et active[l1] : le nombre moyen de caractéristiques au-dessus de zéro par caractère mis de côté.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.