Kurrikulum Leson 226 van 246 · Module 21: Kyk binne in 'n model
Module 21: Kyk binne in 'n model

Grokking: memoriseer eerste, verstaan later

Waarom dit saak maak Power et al. (2022) het gesien hoe 'n netwerk perfekte opleiding akkuraatheid bereik, lank op kans by toetsdata bly, en dan skielik generaliseer. Dit is die duidelikste geval waar kyk binne iets verduidelik wat die loss curve nie kon nie.

Die taak: a + b modulo 23 (die res nadat jy deur 23 deel; so 20 + 5 is 2). Daar is 23 x 23 = 529 somme; die model oefen op 'n willeke helfte en word getoets op die ander helfte. Elke getal kry 'n embedding van 32; die twee embeddings gaan deur een ReLU layer van 128 en uit na 23 scores. Dit oefen op die hele helfte by elke stap, met AdamW (Module 5).

Train dit lewendig vir 1,500 steps, dan lees die kursus se opgeneemde 40,000-step runs (ongeveer 11 sekondes elk op 'n skootrekenaar, te lank vir 'n les), met weight decay 3 en sonder.

Voorspel eerste: na 1,500 stappe sal die train accuracy 100% wees. Wat sal die test accuracy wees?

Woorde en simbole in hierdie les
grokking
test akkuraatheid styg lank nadat die opleidingsakkuraatheid perfek is
Jou beurt

Stel my_guess op "near 0", "near 50%" of "near 100%". Oefen vir 1,500 stappe en vul live in met (opleidingsakkuraatheid, toetsakkuraatheid). Uit runs = interp.recorded()['grok'] het elke lopie se 'curve' rye (stap, opleidingsakkuraatheid, toetsakkuraatheid, top-3-aandeel): stel half_way op die eerste stap waar toetsakkuraatheid 0.5 bereik met weight decay 3, en final_test op elke lopie se laaste toetsakkuraatheid.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.