Grokking: memoriseer eerste, verstaan later
Waarom dit saak maak Power et al. (2022) het gesien hoe 'n netwerk perfekte opleiding akkuraatheid bereik, lank op kans by toetsdata bly, en dan skielik generaliseer. Dit is die duidelikste geval waar kyk binne iets verduidelik wat die loss curve nie kon nie.
Die taak: a + b modulo 23 (die res nadat jy deur 23 deel; so 20 + 5 is 2). Daar is 23 x 23 = 529 somme; die model oefen op 'n willeke helfte en word getoets op die ander helfte. Elke getal kry 'n embedding van 32; die twee embeddings gaan deur een ReLU layer van 128 en uit na 23 scores. Dit oefen op die hele helfte by elke stap, met AdamW (Module 5).
Train dit lewendig vir 1,500 steps, dan lees die kursus se opgeneemde 40,000-step runs (ongeveer 11 sekondes elk op 'n skootrekenaar, te lank vir 'n les), met weight decay 3 en sonder.
Voorspel eerste: na 1,500 stappe sal die train accuracy 100% wees. Wat sal die test accuracy wees?
Woorde en simbole in hierdie les
- grokking
- test akkuraatheid styg lank nadat die opleidingsakkuraatheid perfek is
Stel my_guess op "near 0", "near 50%" of "near 100%". Oefen vir 1,500 stappe en vul live in met (opleidingsakkuraatheid, toetsakkuraatheid). Uit runs = interp.recorded()['grok'] het elke lopie se 'curve' rye (stap, opleidingsakkuraatheid, toetsakkuraatheid, top-3-aandeel): stel half_way op die eerste stap waar toetsakkuraatheid 0.5 bereik met weight decay 3, en final_test op elke lopie se laaste toetsakkuraatheid.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.