BatchNorm forward en lopende gemiddelden
Waarom dit ertoe doet Tijdens de training gebruikt BatchNorm de statistieken van de batch zelf. Als het model op één voorbeeld tegelijk wordt gebruikt, is er geen batch, dus moet het typische statistieken uit de training onthouden.
Houd tijdens de training lopende gemiddelden bij van het gemiddelde en de variantie van elk kenmerk: running = (1 - momentum) * running + momentum * batch_value, met momentum 0.1. In de evaluatiemodus normaliseer je met die lopende waarden in plaats van met die van de batch.
Trainingsmodus: gebruik de batchstatistieken en werk de lopende gemiddelden bij. Evaluatiemodus: gebruik de opgeslagen lopende gemiddelden en verander niets.
Woorden en symbolen in deze les
- Xavier, LeCun, He
- beginspreidingen sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
- BatchNorm (gamma, beta)
- normaliseer elk kenmerk over de batch en schaal dan opnieuw met de geleerde gamma en beta
Schrijf de class BatchNorm(n, momentum=0.1, eps=1e-5) met gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), een training flag (start True) en __call__(X) die zich gedraagt zoals beschreven. Voor running_var is de batch variantie zoals np.var deze berekent (delen door n) de keuze van de cursus; PyTorch houdt de onbevooroordeelde variant (delen door n - 1) aan, en beide worden geaccepteerd.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.