Démêler : un autoencodeur clairsemé
Pourquoi c'est important Si les caractéristiques sont stockées en superposition, regarder les unités ne les trouvera pas. Un autoencodeur clairsemé (Bricken et al. 2023, Cunningham et al. 2023) essaie de défaire ça : reconstruire chaque vecteur à partir de bien plus de directions qu'il n'a de nombres, mais seulement quelques-unes à la fois.
Prends les vecteurs de 64 nombres du GPT après le bloc 1, pour 19,200 caractères de texte de leçon. Un autoencodeur clairsemé à 256 caractéristiques calcule f = relu(z We + be) et reconstruit z = f Wd. La perte est l'erreur de reconstruction plus l1 fois la taille totale de f, ce qui pousse la plupart des caractéristiques à exactement zéro.
interp.train_sae(A, features=256, l1=...) en entraîne un ; sae.unexplained(A) est la part de la dispersion des vecteurs que la reconstruction manque (0 est parfait) et sae.features(A) donne f.
Prédis d'abord : avec une forte poussée (l1 = 0.3), la reconstruction expliquera-t-elle encore l'essentiel de la dispersion (part inexpliquée sous 0.2) ?
Mots et symboles de cette leçon
- superposition
- stocker plus de caractéristiques qu'il n'y a de nombres, sous forme de directions rarement actives ensemble
- autoencodeur clairsemé
- une couche large entraînée à reconstruire des vecteurs à partir de quelques caractéristiques actives à la fois
Affecte à my_guess "yes" ou "no". Entraîne avec l1 à 0.03 et 0.3 (600 pas de 128 vecteurs chacun). Remplis unexplained[l1] sur les vecteurs mis de côté A_new, et active[l1] : le nombre moyen de caractéristiques au-dessus de zéro par caractère mis de côté.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.