BatchNorm voorwaartse en lopende gemiddeldes
Hoekom dit saak maak Tydens opleiding gebruik BatchNorm die batch se eie statistieke. Wanneer die model op een voorbeeld teen 'n slag gebruik word, is daar geen batch nie, so moet dit tipiese statistieke van die opleiding onthou.
Tydens opleiding, hou running averages van elke kenmerk se gemiddelde en variansie: running = (1 - momentum) * running + momentum * batch_value, met momentum 0.1. In evalueringsmodus, normaliseer met daardie running waardes in plaas van die batch s'n.
Trainingsmodus: gebruik batch-statistieke en opdateer die lopende gemiddeldes. Eval-modus: gebruik die gestoorde lopende gemiddeldes en verander niks nie.
Woorde en simbole in hierdie les
- Xavier, LeCun, He
- beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
- BatchNorm (gamma, beta)
- normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
Skryf die klas BatchNorm(n, momentum=0.1, eps=1e-5) met gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), 'n training flag (begin True) en __call__(X) wat soos beskryf optree. Vir running_var, is die batch variance soos np.var dit bereken (deel deur n) die kursus se keuse; PyTorch hou die onbevooroorde een (deel deur n - 1), en albei word aanvaar.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.