Kliniek: fouten starten en schalen
Waarom dit ertoe doetFouten uit Module 6 in de praktijk: ze stoppen met leren voordat het begint.
Dode eenheden: elke verborgen eenheid staat uit voor elke input, dus geen gradiënt bereikt de eerste laag en de loss verlaat nooit 2.30. Niet geschaalde inputs: pixels komen aan als 0 tot 16 in plaats van 0 tot 1, activaties zijn enorm, de startloss ligt ver boven 2.30, en de eerste stappen zijn heftig. (De BatchNorm train/eval valkuil uit Module 6 hoort hier ook bij; je hebt deze al tegengekomen.)
Elke casus hieronder is een trainingsronde met één fout erin geplaatst. Voor elke casus: gebruik probes om de fout te vinden, schrijf dan een fix als config wijzigingen. De fouten in deze les: dead_units, unscaled_inputs, plus one fault from earlier. Minder probes is beter; een goede diagnosticus heeft zelden meer dan twee per casus nodig.
| Probe | Wat het je vertelt |
|---|---|
loss_curve(c) | Trainingsverlies elke 50 stappen en de uiteindelijke validatie nauwkeurigheid. Kijk altijd eerst. |
loss_at_init(c) | Loss voor de training. Een vers 10-klassen model moet dicht bij ln(10) = 2.30 liggen. |
overfit_one_batch(c) | Kan het 32 voorbeelden onthouden? Een gezonde setup krijgt bijna 0. |
grad_norms(c) | Gradientgrootte per gewichtsmatrix aan het begin. Nul betekent dat niets geleerd kan worden. |
update_ratio(c) | Gewone SGD stapgrootte ten opzichte van gewichtsgrootte. Gezond is ongeveer 0.001 tot 0.1 (een vuistregel voor gewone SGD; Module 14 laat zien waarom Adam verschilt). |
act_stats(c) | Verborgen activaties: gemiddelde, grootste waarde, aandeel van dode eenheden. |
lr_schedule(c) | De learning rate bij steps 0, 50, 100 en zo verder. |
batch_labels(c) | De labels in de eerste paar batches. |
overlap(c) | Hoeveel validatievoorbeelden verschijnen ook in de training. |
Woorden en symbolen in deze les
- probe
- Een snelle meting van een run, zoals gradient groottes of dode eenheden
Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Een fix moet de fout verwijderen en trainen naar ten minste 90% validatie nauwkeurigheid.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.