Programma Les 79 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

Wat BatchNorm met de getallen doet

Waarom dit ertoe doet BatchNorm maakte zeer diepe netwerken in 2015 trainbaar. Kijk wat het met de getallen doet voordat je het bouwt.

Bekijk het

Speel de animatie af. De outputs van een laag komen aan met hun eigen gemiddelde en spreiding per feature, sommige enorm, sommige piepklein, sommige verschoven. BatchNorm neemt elke feature, over de huidige batch, trekt het gemiddelde eraf en deelt door de spreiding. Elke feature heeft nu gemiddelde 0 en spreiding 1. Daarna vermenigvuldigt het met een geleerde gamma en voegt het een geleerde beta toe, zodat het netwerk een andere schaal kan kiezen als dat helpt.

Een eerlijke noot: waarom BatchNorm helpt is nog steeds een punt van discussie. De uitleg in het originele paper ("internal covariate shift") is niet meer de geaccepteerde reden; vlakkere loss landscapes en het toestaan van grotere learning rates zijn beter onderbouwde redenen. Wat het met de getallen doet staat niet ter discussie.

BatchNorm: normalise elke feature met de statistieken van de huidige batch, schaal dan opnieuw met geleerde gamma en beta.

Woorden en symbolen in deze les
Xavier, LeCun, He
startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
BatchNorm (gamma, beta)
normaliseer elke feature over de batch, schaal dan opnieuw met geleerde gamma en beta
Jij bent aan de beurt

Voorspel voordat je berekent: een feature heeft waarden [2, 4, 6, 8] in een batch, gamma is 3 en beta is 1. Zet my_output op de vier getallen die BatchNorm produceert (gebruik eps = 0). Schrijf dan batchnorm_forward(X, gamma, beta, eps=1e-5) voor een 2D batch.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.