Programma Les 101 van 246 · Module 8: Trainingskliniek I
Module 8: Trainingskliniek I

Poort: drie onzichtbare gebroken runs (AI uit)

Waarom dit ertoe doetAlleen diagnosticeren met een Budget is de vaardigheid waar deze module voor is.

AI uit. Drie runs, elk met één fout uit een willekeurig deel van deze module. Het zijn nieuwe runs, niet de oefengevallen: andere seeds, een andere batch size en fouten van andere groottes, dus de getallen die je uit de oefening onthoudt zullen niet overeenkomen. Je Budget is in totaal 9 probes (het trainen van een verzegeld antwoord telt als één), geteld over elke run sinds de pagina is geopend (het herhalen van een probe op hetzelfde geval is gratis; een verkeerde diagnose of een fix die niet werkt kost één probe).

Elke casus hieronder is een trainingsronde met één fout erin geplaatst. Voor elke casus: gebruik probes om de fout te vinden, en schrijf dan een fix als config wijzigingen. De fouten in deze les: any fault from this module. Minder probes is beter; een goede diagnosticus heeft zelden meer dan twee per casus nodig.

ProbeWat het je vertelt
loss_curve(c)Trainingsverlies elke 50 stappen en de uiteindelijke validatie nauwkeurigheid. Kijk altijd eerst.
loss_at_init(c)Loss voor de training. Een vers model met 10 klassen moet dicht bij ln(10) = 2.30 liggen.
overfit_one_batch(c)Kan het 32 voorbeelden onthouden? Een gezonde setup krijgt bijna 0.
grad_norms(c)Gradientgrootte per gewichtsmatrix aan het begin. Nul betekent dat niets geleerd kan worden.
update_ratio(c)Gewone SGD stapgrootte ten opzichte van gewichtsgrootte. Gezond is ongeveer 0.001 tot 0.1 (een vuistregel voor gewone SGD; Module 14 laat zien waarom Adam verschilt).
act_stats(c)Verborgen activaties: gemiddelde, grootste waarde, aandeel dode eenheden.
lr_schedule(c)De learning rate bij steps 0, 50, 100 en zoiets.
batch_labels(c)De labels in de eerste paar batches.
overlap(c)Hoeveel validatievoorbeelden verschijnen ook in de training.
Woorden en symbolen in deze les
probe
een snelle meting van een run, zoals de grootte van de gradient of dode eenheden
Jij bent aan de beurt

Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Een fix moet de fout verwijderen en trainen naar ten minste 90% validatie nauwkeurigheid.

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.