Programma Les 82 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

De train/eval valkuil

Waarom dit ertoe doet Een model dat goed scoort bij testen en slecht bij gebruik, zonder zichtbare reden, is heel vaak deze bug. Het heeft ervaren engineers misleid.

Een kleine classifier heeft een BatchNorm laag. Hij is goed getraind en zijn lopende gemiddelden zijn goed. Op de testset, gescoord in grote batches, presteert hij goed. Gebruikt op één voorbeeld tegelijk, zit hij veel te vaak fout.

Eerst het detectivewerk: print wat de BatchNorm layer uitvoert voor twee verschillende voorbeelden, en vraag jezelf af met welke statistieken het normaliseert. Werk het uit vanuit wat je print; de drie hints helpen je als je vastloopt.

Woorden en symbolen in deze les
Xavier, LeCun, He
beginnende spreads zijn sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
BatchNorm (gamma, beta)
normaliseer elke feature over de batch, schaal dan opnieuw met geleerde gamma en beta
Jij bent aan de beurt

predict_one(x) wordt gebruikt op één voorbeeld tegelijk, en de accuracy is slecht. Ontdek waarom, en herstel dan predict_one zodat de held-out accuracy minstens 90% is. Zet cause op een korte zin die de oorzaak benoemt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.