Programma Les 161 van 246 · Module 14: Trainingskliniek II
Module 14: Trainingskliniek II

Clinic: stapgrootte en begingewichten

Waarom dit ertoe doet De fouten in de learning-rate en schaal van Module 8 zijn terug, met de vingerafdrukken van Adam erop.

Met Adam beweegt elke weight ongeveer met de learning rate bij de eerste step, ongeacht de gradient. De update ratio is dus een directe aflezing van de step size: ongeveer 0.5 bij een gezonde run (0.01 tegenover weights nabij 0.02), ongeveer 15 wanneer de rate veel te hoog is (de loss schommelt dan wild) en ongeveer 0.0005 wanneer deze veel te laag is (de loss verlaat 4.55 nauwelijks). Startweights die veel te groot zijn maken de allereerste voorspellingen wild overtuigd en fout: de startloss ligt veel boven 4.55.

Elke casus hieronder is een trainingsronde met één geplante fout. Voor elke casus: gebruik probes om de fout te vinden, en schrijf dan een fix als config wijzigingen die de ronde weer gezond maken. De fouten in deze les: lr_too_high, lr_too_low, init_too_big. Een goede diagnosticus heeft zelden meer dan twee probes per casus nodig.

ProbeWat het je verteltGezonde run
loss_curve(c)Trainingsverlies elke 25 stappen, en het verlies op onbekende tekst aan het einde. Kijk altijd eerst.4.55 naar ongeveer 2.9; onzichtbaar ongeveer 3.0
loss_at_init(c)Loss voor training. Een vers model dat gelijkmatig gokt over 95 karakters geeft ln(95).4.55
leak_check(c)Kan een later teken een eerdere voorspelling veranderen?False
show_batch(c)Eén trainingsinput en de bijbehorende target, als tekst.target = input verplaatst één teken naar links
update_ratio(c)Na de eerste Adam stap, hoe ver de weights bewogen ten opzichte van hun grootte. Niet de regel van Module 8: die 0.001 tot 0.1 bereik is voor gewone SGD stappen. De eerste stap van Adam verplaatst elke weight met ongeveer de learning rate ongeacht de gradient, en deze weights beginnen dicht bij 0.02, dus 0.01 / 0.02 geeft ongeveer 0.5. Vergelijk een geval met deze gezonde run, niet met het bereik van Module 8.ongeveer 0.5
block_change(c)Hoeveel de eerste blok elke vector verandert aan het begin.ongeveer 0.3
Woorden en symbolen in deze les
ln(V)
de beginverlies van een model dat gelijkmatig gokt over V symbolen: 4.55 voor 95 karakters
block change
hoeveel een blok een vector aan het begin verandert; dicht bij 1 betekent dat het het heeft vervangen
Jij bent aan de beurt

Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Na je fix moet elke instelling overeenkomen met de gezonde run.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.