Je eigen probes
Waarom dit ertoe doet Probes zijn hoe je naar binnen kijkt in een run. Ze zelf schrijven betekent dat je weet wat de getallen betekenen wanneer een tool ze aan je laat zien.
Drie probes doen het meeste werk:
- Gradientgrootte per laag: de lengte (norm) van de gradient van elke gewichtsmatrix. Alles nul: niets leert. Wild verschillend tussen lagen: één laag krijgt te weinig.
- Dead share: de fractie van verborgen eenheden die nul uitgeven voor elk voorbeeld in een batch.
- Update-to-weight ratio: learning rate keer gradient size, gedeeld door weight size. Het zegt welk deel van elke weight één stap verandert. Ongeveer 0.001 tot 0.1 is gezond; dicht bij 1 betekent dat elke stap de weights herschrijft; dicht bij 0 betekent dat niets beweegt.
De harness legt zijn interne werking bloot: _data(c) geeft de trainingsdata, _init(c) de startgewichten, en _fb(p, X, y, c) geeft (loss, gradients, hidden activations) terug.
Woorden en symbolen in deze les
- probe
- Een snelle meting van een run, zoals de grootte van de gradient of dode eenheden
- update-to-weight ratio
- hoeveel één stap elke gewicht verandert, relatief aan zijn grootte
Schrijf my_grad_norms(c), my_dead_share(c) en my_update_ratio(c) met de eerste 256 trainingsvoorbeelden en de beginweights. Ze moeten overeenkomen met de probes van de kliniek.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.