Kurrikulum Leson 79 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

Wat BatchNorm met die getalle doen

Waarom dit saak maak BatchNorm het baie diep netwerke in 2015 trainbaar gemaak. Kyk wat dit met die getalle doen voordat jy dit bou.

Sien dit

Speel die animasi af. 'n Laag se uitsette kom aan met hul eie gemiddelde en spreiding per kenmerk, sommige groot, sommige klein, sommige verskuif. BatchNorm neem elke kenmerk oor die huidige batch, trek die gemiddelde af en deel deur die spreiding. Elke kenmerk het nou 'n gemiddelde van 0 en 'n spreiding van 1. Dan vermenigvuldig dit met 'n geleerde gamma en voeg 'n geleerde beta by, sodat die netwerk 'n ander skaal kan kies as dit help.

'n eerlike nota: wa BatchNorm help, word nog debatteer. Die oorspronklike dokument se verduideliking ("internal covariate shift") is nie meer die aanvaarde een nie; gladder loss landscapes en die toestaan van groter learning rates is beter ondersteunde redes. Wat dit met die getalle doen, is nie in twyfel nie.

BatchNorm: normalise elke kenmerk met die statistieke van die huidige batch, dan skaal dit oor met geleerde gamma en beta.

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
BatchNorm (gamma, beta)
normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
Jou beurt

Voorspel voor jy bereken: 'n kenmerk het waardes [2, 4, 6, 8] in 'n bondel, gamma is 3 en beta is 1. Stel my_output op die vier getalle wat BatchNorm lewer (gebruik eps = 0). Skryf dan batchnorm_forward(X, gamma, beta, eps=1e-5) vir 'n 2D-bondel.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.