Programma Les 80 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

BatchNorm forward en lopende gemiddelden

Waarom dit ertoe doet Tijdens de training gebruikt BatchNorm de statistieken van de batch zelf. Als het model op één voorbeeld tegelijk wordt gebruikt, is er geen batch, dus moet het typische statistieken uit de training onthouden.

Houd tijdens de training lopende gemiddelden bij van het gemiddelde en de variantie van elk kenmerk: running = (1 - momentum) * running + momentum * batch_value, met momentum 0.1. In de evaluatiemodus normaliseer je met die lopende waarden in plaats van met die van de batch.

Trainingsmodus: gebruik de batchstatistieken en werk de lopende gemiddelden bij. Evaluatiemodus: gebruik de opgeslagen lopende gemiddelden en verander niets.

Woorden en symbolen in deze les
Xavier, LeCun, He
beginspreidingen sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
BatchNorm (gamma, beta)
normaliseer elk kenmerk over de batch en schaal dan opnieuw met de geleerde gamma en beta
Jij bent aan de beurt

Schrijf de class BatchNorm(n, momentum=0.1, eps=1e-5) met gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), een training flag (start True) en __call__(X) die zich gedraagt zoals beschreven. Voor running_var is de batch variantie zoals np.var deze berekent (delen door n) de keuze van de cursus; PyTorch houdt de onbevooroordeelde variant (delen door n - 1) aan, en beide worden geaccepteerd.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.