Verstehen: erst auswendig lernen, später verstehen
Warum das wichtig ist Power et al. (2022) sahen ein Netzwerk, das eine perfekte Trainings-accuracy erreichte, lange Zeit bei Zufallswerten bei den Testdaten blieb und dann plötzlich generalisierte. Es ist der klarste Fall, in dem das Betrachten des Inneren etwas erklärte, was die loss curve nicht konnte.
Die Aufgabe: a + b modulo 23 (der Rest nach der Teilung durch 23; also ist 20 + 5 gleich 2). Es gibt 23 x 23 = 529 Summen; das Modell trainiert auf einer zufälligen Hälfte und wird auf der anderen Hälfte getestet. Jede Zahl erhält ein embedding von 32; die zwei embeddings gehen durch eine ReLU layer von 128 und geben 23 scores aus. Es trainiert auf der ganzen Hälfte bei jedem step mit AdamW (Module 5).
Trainiere es live für 1.500 steps, lies dann die aufgezeichneten 40.000-step runs des Kurses (etwa 11 Sekunden jedes auf einem Laptop, zu lang für eine Lektion), mit weight decay 3 und ohne.
Vorhersage zuerst: nach 1,500 steps wird die train accuracy 100% sein. Wie hoch wird die test accuracy sein?
Wörter und Symbole in dieser Lektion
- grokking
- test accuracy steigt lange nachdem die training accuracy perfekt ist
Setze my_guess auf "near 0", "near 50%" oder "near 100%". Trainiere für 1,500 steps und fülle live mit (train accuracy, test accuracy). Aus runs = interp.recorded()['grok'] hat das 'curve' jedes Durchlaufs Zeilen (step, train accuracy, test accuracy, top-3 share): setze half_way auf den ersten step, an dem test accuracy 0.5 mit weight decay 3 erreicht, und final_test auf die letzte test accuracy jedes Durchlaufs.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.