De train/eval valkuil
Waarom dit ertoe doet Een model dat goed scoort bij testen en slecht bij gebruik, zonder zichtbare reden, is heel vaak deze bug. Het heeft ervaren engineers misleid.
Een kleine classifier heeft een BatchNorm laag. Hij is goed getraind en zijn lopende gemiddelden zijn goed. Op de testset, gescoord in grote batches, presteert hij goed. Gebruikt op één voorbeeld tegelijk, zit hij veel te vaak fout.
Eerst het detectivewerk: print wat de BatchNorm layer uitvoert voor twee verschillende voorbeelden, en vraag jezelf af met welke statistieken het normaliseert. Werk het uit vanuit wat je print; de drie hints helpen je als je vastloopt.
Woorden en symbolen in deze les
- Xavier, LeCun, He
- beginnende spreads zijn sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
- BatchNorm (gamma, beta)
- normaliseer elke feature over de batch, schaal dan opnieuw met geleerde gamma en beta
predict_one(x) wordt gebruikt op één voorbeeld tegelijk, en de accuracy is slecht. Ontdek waarom, en herstel dan predict_one zodat de held-out accuracy minstens 90% is. Zet cause op een korte zin die de oorzaak benoemt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.