Lehrplan Lektion 226 von 246 · Modul 21: Ein Blick in ein Modell
Modul 21: Ein Blick in ein Modell

Verstehen: erst auswendig lernen, später verstehen

Warum das wichtig ist Power et al. (2022) sahen ein Netzwerk, das eine perfekte Trainings-accuracy erreichte, lange Zeit bei Zufallswerten bei den Testdaten blieb und dann plötzlich generalisierte. Es ist der klarste Fall, in dem das Betrachten des Inneren etwas erklärte, was die loss curve nicht konnte.

Die Aufgabe: a + b modulo 23 (der Rest nach der Teilung durch 23; also ist 20 + 5 gleich 2). Es gibt 23 x 23 = 529 Summen; das Modell trainiert auf einer zufälligen Hälfte und wird auf der anderen Hälfte getestet. Jede Zahl erhält ein embedding von 32; die zwei embeddings gehen durch eine ReLU layer von 128 und geben 23 scores aus. Es trainiert auf der ganzen Hälfte bei jedem step mit AdamW (Module 5).

Trainiere es live für 1.500 steps, lies dann die aufgezeichneten 40.000-step runs des Kurses (etwa 11 Sekunden jedes auf einem Laptop, zu lang für eine Lektion), mit weight decay 3 und ohne.

Vorhersage zuerst: nach 1,500 steps wird die train accuracy 100% sein. Wie hoch wird die test accuracy sein?

Wörter und Symbole in dieser Lektion
grokking
test accuracy steigt lange nachdem die training accuracy perfekt ist
Du bist dran

Setze my_guess auf "near 0", "near 50%" oder "near 100%". Trainiere für 1,500 steps und fülle live mit (train accuracy, test accuracy). Aus runs = interp.recorded()['grok'] hat das 'curve' jedes Durchlaufs Zeilen (step, train accuracy, test accuracy, top-3 share): setze half_way auf den ersten step, an dem test accuracy 0.5 mit weight decay 3 erreicht, und final_test auf die letzte test accuracy jedes Durchlaufs.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.