Kurrikulum Leson 80 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

BatchNorm voorwaartse en lopende gemiddeldes

Hoekom dit saak maak Tydens opleiding gebruik BatchNorm die batch se eie statistieke. Wanneer die model op een voorbeeld teen 'n slag gebruik word, is daar geen batch nie, so moet dit tipiese statistieke van die opleiding onthou.

Tydens opleiding, hou running averages van elke kenmerk se gemiddelde en variansie: running = (1 - momentum) * running + momentum * batch_value, met momentum 0.1. In evalueringsmodus, normaliseer met daardie running waardes in plaas van die batch s'n.

Trainingsmodus: gebruik batch-statistieke en opdateer die lopende gemiddeldes. Eval-modus: gebruik die gestoorde lopende gemiddeldes en verander niks nie.

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
BatchNorm (gamma, beta)
normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
Jou beurt

Skryf die klas BatchNorm(n, momentum=0.1, eps=1e-5) met gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), 'n training flag (begin True) en __call__(X) wat soos beskryf optree. Vir running_var, is die batch variance soos np.var dit bereken (deel deur n) die kursus se keuse; PyTorch hou die onbevooroorde een (deel deur n - 1), en albei word aanvaar.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.