Programme Leçon 223 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Plus de caractéristiques que de place : la superposition

Pourquoi c'est important Si chaque unité voulait dire une seule chose, lire un réseau serait facile. En général ce n'est pas le cas, et le modèle jouet d'Elhage et al. (2022) montre pourquoi : un réseau peut stocker plus de caractéristiques qu'il n'a de nombres, tant que les caractéristiques sont rarement actives ensemble.

Le jouet : 5 caractéristiques, chacune à 0 la plupart du temps et sinon un nombre entre 0 et 1. Une matrice W (2 par 5) les comprime en seulement 2 nombres, h = W x, et le modèle les relit sous la forme relu(WT h + b). La caractéristique i compte 0.9i autant dans la perte (la caractéristique 0 le plus). La colonne i de W est la direction où la caractéristique i est stockée ; une colonne proche de zéro veut dire que la caractéristique a été abandonnée.

interp.superposition(sparsity=s) l'entraîne (s = la chance que chaque caractéristique vaille 0). interp.stored(W) liste les caractéristiques qu'il a gardées et interp.angles(W) les angles entre elles.

Prédis d'abord : quand les caractéristiques sont rarement actives (clairsemée à 0.97), combien des 5 peuvent tenir dans 2 nombres ?

Mots et symboles de cette leçon
superposition
stocker plus de caractéristiques qu'il n'y a de nombres, sous forme de directions rarement actives ensemble
À ton tour

Affecte à my_guess un nombre de 2 à 5. Entraîne à une rareté de 0, 0.7 et 0.97 (graine 0) et remplis kept[s] avec le nombre de caractéristiques stockées, et smallest_angle[s] avec le plus petit angle entre deux caractéristiques stockées.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.