Programme Leçon 226 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Grokking : mémoriser d'abord, comprendre plus tard

Pourquoi c'est important Power et al. (2022) ont vu un réseau atteindre une justesse parfaite à l'entraînement, rester au niveau du hasard sur les données de test longtemps, puis soudain généraliser. C'est le cas le plus clair où regarder à l'intérieur a expliqué quelque chose que la courbe de perte ne pouvait pas expliquer.

La tâche : a + b modulo 23 (le reste après division par 23 ; donc 20 + 5 donne 2). Il y a 23 × 23 = 529 sommes ; le modèle s'entraîne sur une moitié au hasard et est testé sur l'autre moitié. Chaque nombre reçoit un embedding de 32 ; les deux embeddings passent par une couche ReLU de 128 puis sortent en 23 scores. Il s'entraîne sur toute la moitié à chaque pas, avec AdamW (module 5).

Entraîne-le en direct pendant 1,500 pas, puis lis les exécutions enregistrées de 40,000 pas du cours (environ 11 secondes chacune sur un portable, trop long pour une leçon), avec une décroissance des poids de 3 et sans.

Prédis d'abord : après 1,500 pas, la justesse à l'entraînement sera de 100 %. Quelle sera la justesse au test ?

Mots et symboles de cette leçon
grokking
la justesse au test qui monte longtemps après que la justesse à l'entraînement est parfaite
À ton tour

Affecte à my_guess "near 0", "near 50%" ou "near 100%". Entraîne pendant 1,500 pas et remplis live avec (justesse à l'entraînement, justesse au test). Dans runs = interp.recorded()['grok'], la 'curve' de chaque exécution a des lignes (pas, justesse à l'entraînement, justesse au test, part du top 3) : affecte à half_way le premier pas où la justesse au test atteint 0.5 avec une décroissance des poids de 3, et à final_test la dernière justesse au test de chaque exécution.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.