Ce qui a changé à l'intérieur : des ondes
Pourquoi c'est important Nanda et al. (2023) ont montré que les réseaux qui « grokkent » l'addition modulaire finissent par la calculer avec des ondes : chaque nombre devient un point sur quelques cercles, et additionner des nombres revient à additionner des angles. C'est un des rares cas où un mécanisme complet a été trouvé puis vérifié.
Lis chaque colonne d'embedding comme une liste de 23 valeurs, une par nombre de 0 à 22, et découpe-la en ondes de fréquence 1 à 11 (une onde de fréquence k fait k tours de 0 à 22 ; ce découpage est la transformée de Fourier). interp.frequency_shares(emb) donne la part de chaque fréquence dans l'embedding (leur somme vaut 1). Si le modèle utilise quelques ondes, quelques fréquences en portent l'essentiel ; réparti également, le top 3 en porterait 3/11 = 0.27.
Un schéma seul ne suffit pas : reconstruis l'embedding à partir de certaines fréquences seulement avec interp.keep_frequencies(emb, keep) et mesure la justesse au test. Si le top 3 est le mécanisme, ne garder que lui doit garder l'essentiel de la justesse, et ne retirer que lui doit la détruire.
Mots et symboles de cette leçon
- schéma, effet, mécanisme
- trois sortes de preuves : regardé et vu ; changé et la sortie a changé ; expliqué et l'explication a prédit de nouveaux cas
- transformée de Fourier
- découper une liste de valeurs en ondes de différentes fréquences
Charge g = interp.grok_model() (l'exécution enregistrée avec une décroissance des poids de 3, après 40,000 pas). Affecte à top3 ses trois plus grandes fréquences, à top3_share leur part totale, et remplis test_acc pour trois embeddings : 'all', 'only top 3' et 'all but top 3'.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.