Programma Les 81 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

BatchNorm backward op een batch van 3 getallen (optioneel)

Waarom dit ertoe doet Dit is de moeilijkste achterwaartse regel in Deel 1, en het is optioneel. De les: wanneer elke output afhangt van elke input (via het gemiddelde en de spreiding), krijgt de gradiënt extra termen.

Werk het uit op één feature met een batch van 3 eerst. Met x_hat = (x - mean) / spread en y = gamma x_hat + beta is de gradiënt ten opzichte van x niet alleen gamma / spread maal de binnenkomende gradiënt. Het aanpassen van één x verandert de mean en de spread, wat elke andere output ook verplaatst. Het resultaat, per feature, met g de binnenkomende gradiënt en N de batch size:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Lees het als: de simpele gradiënt, min het deel dat alles samen verschoof (de gemiddelde term), min het deel dat alles samen uitrekte (de spreidingsterm). Die twee delen worden geannuleerd door de normalisatie zelf.

A uitgewerkte oplossing opent vanuit de hints als je vastloopt. Deze les overslaan blokkeert niets.

Woorden en symbolen in deze les
Xavier, LeCun, He
startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
BatchNorm (gamma, beta)
normaliseer elke feature over de batch, schaal dan opnieuw met geleerde gamma en beta
Jij bent aan de beurt

Schrijf batchnorm_backward(X, gamma, g, eps=1e-5) die (dX, dgamma, dbeta) retourneert voor een 2D batch, waarbij g de gradiënt is die bij de output aankomt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.