Kliniek: learning-rate fouten
Waarom dit ertoe doetDe learning rate is de meest voorkomende oorzaak van een slechte run. Elke soort fout laat een ander spoor achter.
Te hoog: steps schieten over, de loss springt rond of stijgt, en de update-to-weight ratio is dicht bij of boven 1. Te laag: bijna niets beweegt, de loss blijft rond 2.30 en de ratio is minuscuul. Te vroeg gestopt: de run leert een tijdje, dan stopt de verbetering: vanaf dat moment wankelt de loss van batch naar batch rond een matig niveau (hier tussen ongeveer 1.1 en 1.5); de schedule laat zien dat de rate instort.
Elke casus hieronder is een trainingsronde met één fout erin geplaatst. Voor elke casus: gebruik probes om de fout te vinden, schrijf dan een fix als config wijzigingen. De fouten in deze les: lr_too_high, lr_too_low, lr_dropped_early. Minder probes is beter; een goede diagnosticus heeft zelden meer dan twee per casus nodig.
| Probe | Wat het je vertelt |
|---|---|
loss_curve(c) | Trainingsverlies elke 50 stappen en de uiteindelijke validatie-nauwkeurigheid. Kijk altijd eerst. |
loss_at_init(c) | Loss voor de training. Een vers model met 10 klassen moet dicht bij ln(10) = 2.30 liggen. |
overfit_one_batch(c) | Kan het 32 voorbeelden onthouden? Een gezonde setup krijgt bijna 0. |
grad_norms(c) | Gradientgrootte per gewichtsmatrix aan het begin. Nul betekent dat niets geleerd kan worden. |
update_ratio(c) | Gewone SGD stapgrootte ten opzichte van de gewichtsgrootte. Gezond is ongeveer 0.001 tot 0.1 (een vuistregel voor gewone SGD; Module 14 laat zien waarom Adam verschilt). |
act_stats(c) | Verborgen activaties: gemiddelde, grootste waarde, aandeel dode eenheden. |
lr_schedule(c) | De learning rate bij steps 0, 50, 100 en zoverder. |
batch_labels(c) | De labels in de eerste paar batches. |
overlap(c) | Hoeveel validatievoorbeelden verschijnen ook in de training. |
Woorden en symbolen in deze les
- probe
- een snelle meting van een run, zoals de grootte van gradiënten of dode eenheden
- update-to-weight ratio
- hoeveel een stap elke gewicht verandert, relatief aan zijn grootte
Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Een fix moet de fout verwijderen en trainen naar ten minste 90% validatie nauwkeurigheid.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.