BatchNorm backward op een batch van 3 getallen (optioneel)
Waarom dit ertoe doet Dit is de moeilijkste achterwaartse regel in Deel 1, en het is optioneel. De les: wanneer elke output afhangt van elke input (via het gemiddelde en de spreiding), krijgt de gradiënt extra termen.
Werk het uit op één feature met een batch van 3 eerst. Met x_hat = (x - mean) / spread en y = gamma x_hat + beta is de gradiënt ten opzichte van x niet alleen gamma / spread maal de binnenkomende gradiënt. Het aanpassen van één x verandert de mean en de spread, wat elke andere output ook verplaatst. Het resultaat, per feature, met g de binnenkomende gradiënt en N de batch size:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Lees het als: de simpele gradiënt, min het deel dat alles samen verschoof (de gemiddelde term), min het deel dat alles samen uitrekte (de spreidingsterm). Die twee delen worden geannuleerd door de normalisatie zelf.
A uitgewerkte oplossing opent vanuit de hints als je vastloopt. Deze les overslaan blokkeert niets.
Woorden en symbolen in deze les
- Xavier, LeCun, He
- startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
- BatchNorm (gamma, beta)
- normaliseer elke feature over de batch, schaal dan opnieuw met geleerde gamma en beta
Schrijf batchnorm_backward(X, gamma, g, eps=1e-5) die (dX, dgamma, dbeta) retourneert voor een 2D batch, waarbij g de gradiënt is die bij de output aankomt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.