Kliniek: datafouten
Waarom dit ertoe doet "De bug zit altijd in het model" is onjuist. Datafouten komen vaak voor en ze zijn goed verborgen, omdat de training loop zelf in orde is.
Lekkage: de validatieset bevat trainingsvoorbeelden, dus de validatie-nauwkeurigheid ziet er geweldig uit en betekent niets. Niet schudden: batches komen één klasse tegelijk, het model achtervolgt de klasse die het als laatste zag, en de nauwkeurigheid op gemengde data is slecht. Verkeerde labels: veel trainingslabels zijn willekeurig, dus de trainingsverlies kan niet ver dalen ook al kan het model een batch onthouden.
Elke casus hieronder is een trainingsronde met één fout erin geplaatst. Voor elke casus: gebruik probes om de fout te vinden, schrijf dan een fix als config wijzigingen. De fouten in deze les: leak, no_shuffle, noisy_labels. Minder probes is beter; een goede diagnosticus heeft zelden meer dan twee per casus nodig.
| Probe | Wat het je vertelt |
|---|---|
loss_curve(c) | Trainingsverlies elke 50 stappen en de uiteindelijke validatie nauwkeurigheid. Kijk altijd eerst. |
loss_at_init(c) | Loss voor de training. Een vers 10-klassen model moet dicht bij ln(10) = 2.30 liggen. |
overfit_one_batch(c) | Kan het 32 voorbeelden onthouden? Een gezonde setup komt dicht bij 0. |
grad_norms(c) | Gradientgrootte per gewichtsmatrix aan het begin. Nul betekent dat niets geleerd kan worden. |
update_ratio(c) | Gewone SGD stapgrootte ten opzichte van gewichtsgrootte. Gezond is ongeveer 0.001 tot 0.1 (een vuistregel voor gewone SGD; Module 14 laat zien waarom Adam verschilt). |
act_stats(c) | Verborgen activaties: gemiddelde, grootste waarde, aandeel van dode eenheden. |
lr_schedule(c) | De learning rate bij steps 0, 50, 100 en zoverder. |
batch_labels(c) | De labels in de eerste paar batches. |
overlap(c) | Hoeveel validatievoorbeelden verschijnen ook in de training. |
Woorden en symbolen in deze les
- probe
- een snelle meting van een run, zoals de grootte van de gradient of dode eenheden
- leakage
- test- of validatie-informatie die de training bereikt
Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Een fix moet de fout verwijderen en trainen naar ten minste 90% validatie nauwkeurigheid.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.