Kliniek: verlies en outputfouten
Waarom dit ertoe doet Deze fouten laten de training doorgaan en de loss dalen, dus overleven ze een lange tijd in echte code.
Softmax twee keer toegepast: de loss ziet kansen alsof het scores zijn, de gradiënten krimpen, het model kan niet eens één batch onthouden, en de loss daalt langzaam. Verschuivende targets: elk label is met één verschoven, dus het model leert perfect, maar de verkeerde antwoorden: training loss laag, validatie nauwkeurigheid bijna nul.
Elke casus hieronder is een trainingsronde met één fout erin geplaatst. Voor elke casus: gebruik probes om de fout te vinden, schrijf dan een fix als config wijzigingen. De fouten in deze les: softmax_twice, shifted_targets, plus one fault from earlier. Minder probes is beter; een goede diagnosticus heeft zelden meer dan twee per casus nodig.
| Probe | Wat het je vertelt |
|---|---|
loss_curve(c) | Trainingsverlies elke 50 stappen en de uiteindelijke validatie nauwkeurigheid. Kijk altijd eerst. |
loss_at_init(c) | Loss voor de training. Een vers 10-klassen model moet dicht bij ln(10) = 2.30 liggen. |
overfit_one_batch(c) | Kan het 32 voorbeelden onthouden? Een gezonde setup krijgt bijna 0. |
grad_norms(c) | Gradientgrootte per gewichtsmatrix aan het begin. Nul betekent dat niets geleerd kan worden. |
update_ratio(c) | Gewone SGD stapgrootte ten opzichte van gewichtsgrootte. Gezond is ongeveer 0.001 tot 0.1 (een vuistregel voor gewone SGD; Module 14 laat zien waarom Adam verschilt). |
act_stats(c) | Verborgen activaties: gemiddelde, grootste waarde, aandeel van dode eenheden. |
lr_schedule(c) | De learning rate bij steps 0, 50, 100 en zoiets. |
batch_labels(c) | De labels in de eerste paar batches. |
overlap(c) | Hoeveel validatievoorbeelden verschijnen ook in de training. |
Woorden en symbolen in deze les
- probe
- Een snelle meting van een run, zoals de grootte van gradiënten of dode eenheden
Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Een fix moet de fout verwijderen en trainen naar ten minste 90% validatie nauwkeurigheid.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.