Wat BatchNorm met die getalle doen
Waarom dit saak maak BatchNorm het baie diep netwerke in 2015 trainbaar gemaak. Kyk wat dit met die getalle doen voordat jy dit bou.
Sien dit
Speel die animasi af. 'n Laag se uitsette kom aan met hul eie gemiddelde en spreiding per kenmerk, sommige groot, sommige klein, sommige verskuif. BatchNorm neem elke kenmerk oor die huidige batch, trek die gemiddelde af en deel deur die spreiding. Elke kenmerk het nou 'n gemiddelde van 0 en 'n spreiding van 1. Dan vermenigvuldig dit met 'n geleerde gamma en voeg 'n geleerde beta by, sodat die netwerk 'n ander skaal kan kies as dit help.
'n eerlike nota: wa BatchNorm help, word nog debatteer. Die oorspronklike dokument se verduideliking ("internal covariate shift") is nie meer die aanvaarde een nie; gladder loss landscapes en die toestaan van groter learning rates is beter ondersteunde redes. Wat dit met die getalle doen, is nie in twyfel nie.
BatchNorm: normalise elke kenmerk met die statistieke van die huidige batch, dan skaal dit oor met geleerde gamma en beta.
Woorde en simbole in hierdie les
- Xavier, LeCun, He
- beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
- BatchNorm (gamma, beta)
- normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
Voorspel voor jy bereken: 'n kenmerk het waardes [2, 4, 6, 8] in 'n bondel, gamma is 3 en beta is 1. Stel my_output op die vier getalle wat BatchNorm lewer (gebruik eps = 0). Skryf dan batchnorm_forward(X, gamma, beta, eps=1e-5) vir 'n 2D-bondel.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.