Grokking : mémoriser d'abord, comprendre plus tard
Pourquoi c'est important Power et al. (2022) ont vu un réseau atteindre une justesse parfaite à l'entraînement, rester au niveau du hasard sur les données de test longtemps, puis soudain généraliser. C'est le cas le plus clair où regarder à l'intérieur a expliqué quelque chose que la courbe de perte ne pouvait pas expliquer.
La tâche : a + b modulo 23 (le reste après division par 23 ; donc 20 + 5 donne 2). Il y a 23 × 23 = 529 sommes ; le modèle s'entraîne sur une moitié au hasard et est testé sur l'autre moitié. Chaque nombre reçoit un embedding de 32 ; les deux embeddings passent par une couche ReLU de 128 puis sortent en 23 scores. Il s'entraîne sur toute la moitié à chaque pas, avec AdamW (module 5).
Entraîne-le en direct pendant 1,500 pas, puis lis les exécutions enregistrées de 40,000 pas du cours (environ 11 secondes chacune sur un portable, trop long pour une leçon), avec une décroissance des poids de 3 et sans.
Prédis d'abord : après 1,500 pas, la justesse à l'entraînement sera de 100 %. Quelle sera la justesse au test ?
Mots et symboles de cette leçon
- grokking
- la justesse au test qui monte longtemps après que la justesse à l'entraînement est parfaite
Affecte à my_guess "near 0", "near 50%" ou "near 100%". Entraîne pendant 1,500 pas et remplis live avec (justesse à l'entraînement, justesse au test). Dans runs = interp.recorded()['grok'], la 'curve' de chaque exécution a des lignes (pas, justesse à l'entraînement, justesse au test, part du top 3) : affecte à half_way le premier pas où la justesse au test atteint 0.5 avec une décroissance des poids de 3, et à final_test la dernière justesse au test de chaque exécution.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.