Programme Leçon 227 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Ce qui a changé à l'intérieur : des ondes

Pourquoi c'est important Nanda et al. (2023) ont montré que les réseaux qui « grokkent » l'addition modulaire finissent par la calculer avec des ondes : chaque nombre devient un point sur quelques cercles, et additionner des nombres revient à additionner des angles. C'est un des rares cas où un mécanisme complet a été trouvé puis vérifié.

Lis chaque colonne d'embedding comme une liste de 23 valeurs, une par nombre de 0 à 22, et découpe-la en ondes de fréquence 1 à 11 (une onde de fréquence k fait k tours de 0 à 22 ; ce découpage est la transformée de Fourier). interp.frequency_shares(emb) donne la part de chaque fréquence dans l'embedding (leur somme vaut 1). Si le modèle utilise quelques ondes, quelques fréquences en portent l'essentiel ; réparti également, le top 3 en porterait 3/11 = 0.27.

Un schéma seul ne suffit pas : reconstruis l'embedding à partir de certaines fréquences seulement avec interp.keep_frequencies(emb, keep) et mesure la justesse au test. Si le top 3 est le mécanisme, ne garder que lui doit garder l'essentiel de la justesse, et ne retirer que lui doit la détruire.

Mots et symboles de cette leçon
schéma, effet, mécanisme
trois sortes de preuves : regardé et vu ; changé et la sortie a changé ; expliqué et l'explication a prédit de nouveaux cas
transformée de Fourier
découper une liste de valeurs en ondes de différentes fréquences
À ton tour

Charge g = interp.grok_model() (l'exécution enregistrée avec une décroissance des poids de 3, après 40,000 pas). Affecte à top3 ses trois plus grandes fréquences, à top3_share leur part totale, et remplis test_acc pour trois embeddings : 'all', 'only top 3' et 'all but top 3'.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.