Begrijpen: eerst onthouden, later begrijpen
Waarom dit ertoe doet Power et al. (2022) zagen een netwerk een perfecte trainingsnauwkeurigheid bereiken, langdurig op toeval blijven zitten bij testdata, en dan plotseling generaliseren. Het is de duidelijkste zaak waarbij naar binnen kijken iets verklaarde wat de loss curve niet kon.
De taak: a + b modulo 23 (de rest na deling door 23; dus 20 + 5 is 2). Er zijn 23 x 23 = 529 sommen; het model traint op een willekeurige helft en wordt getest op de andere helft. Elk getal krijgt een embedding van 32; de twee embeddings gaan door één ReLU laag van 128 en naar 23 scores. Het traint op de hele helft bij elke stap, met AdamW (Module 5).
Train het live voor 1,500 stappen, lees daarna de opgenomen 40,000-stappen runs van de cursus (ongeveer 11 seconden elk op een laptop, te lang voor een les), met weight decay 3 en zonder.
Voorspel eerst: na 1,500 stappen zal de train accuracy 100% zijn. Wat zal de test accuracy zijn?
Woorden en symbolen in deze les
- grokking
- test nauwkeurigheid stijgt lang nadat de trainingsnauwkeurigheid perfect is
Zet my_guess naar "near 0", "near 50%" of "near 100%". Train voor 1,500 steps en vul live met (train accuracy, test accuracy). Vanuit runs = interp.recorded()['grok'] heeft de 'curve' van elke run rijen (step, train accuracy, test accuracy, top-3 share): zet half_way op de eerste step waar test accuracy 0.5 bereikt met weight decay 3, en final_test op de laatste test accuracy van elke run.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.