Programma Les 94 van 246 · Module 8: Trainingskliniek I
Module 8: Trainingskliniek I

Het recept: twee controles voor alles wat anders is

Waarom dit ertoe doet De meeste kapotte runs kunnen binnen een minuut worden opgevangen door twee goedkope checks, voordat je een uur besteedt aan trainen.

Ervaren beoefenaren beginnen elke nieuwe opzet op dezelfde manier:

  1. Controleer de loss aan het begin. Voordat je traint, geeft een model van 10 klassen dat niets weet elke klasse ongeveer 0.1, dus de loss moet ongeveer -ln(0.1) = 2.30 zijn. Veel daarboven betekent dat iets verkeerd geschaald is. Veel daaronder betekent dat het antwoord het model bereikt via de inputs. Niet elke lek vertoont zich hier: wanneer validatiebeelden ook in de trainingsset zitten, is de start-loss normaal (zowel de gezonde run van deze clinic als de lek-case beginnen bij 2.46), en alleen een validatiescore die te goed is verraadt het.
  2. Overfit één batch. Train op een enkele kleine batch voor een paar honderd steps. Elke werkende model en training loop kan 32 voorbeelden onthouden en de loss naar nul brengen. Als het niet kan, zit de bug in het model, de loss of de gradients, en je hebt het gevonden zonder de volledige data aan te raken.
  3. Pas daarna schaal je op naar de volledige run.

Deze clinic is een kleine cijferclassificatie die je expres kunt breken. config(**changes) maakt een setup; train(c) voert het uit.

ProbeWat het je vertelt
loss_curve(c)Trainingsverlies elke 50 stappen en de uiteindelijke validatie-nauwkeurigheid. Kijk altijd eerst.
loss_at_init(c)Loss voor de training. Een vers model met 10 klassen moet dicht bij ln(10) = 2.30 liggen.
overfit_one_batch(c)Kan het 32 voorbeelden onthouden? Een gezonde setup komt dicht bij 0.
grad_norms(c)Gradientgrootte per gewichtsmatrix aan het begin. Nul betekent dat niets geleerd kan worden.
update_ratio(c)Gewone SGD stapgrootte ten opzichte van gewichtsgrootte. Gezond is ongeveer 0.001 tot 0.1 (een vuistregel voor gewone SGD; Module 14 laat zien waarom Adam verschilt).
act_stats(c)Verborgen activaties: gemiddelde, grootste waarde, aandeel van dode eenheden.
lr_schedule(c)De learning rate bij stappen 0, 50, 100 en zoiets.
batch_labels(c)De labels in de eerste paar batches.
overlap(c)Hoeveel validatievoorbeelden verschijnen ook in de training.
Woorden en symbolen in deze les
probe
Een snelle meting van een run, zoals de grootte van gradiënten of dode eenheden
overfit één batch
het controleren van een setup kan een paar voorbeelden onthouden
Jij bent aan de beurt

Schrijf sanity(c) die een dictionary retourneert met init_ok (verlies aan het begin binnen 0.3 van 2.30) en can_overfit (overfit-one-batch verlies onder 0.1), gebruikmakend van de probes. Pas het toe op de gezonde setup en op suspect.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.