BatchNorm agterwaarts op 'n batch van 3 nommers (opsioneel)
Waarom dit saak maak Dit is die moeilikste terugwaartse reël in Deel 1, en dit is opsioneel. Die les is: wanneer elke uitset van elke inset afhanklik is (deur die gemiddelde en die spreiding), kry die gradient ekstra terme.
Werk dit op een kenmerk met 'n pakkie van 3 eerste. Met x_hat = (x - mean) / spread en y = gamma x_hat + beta, is die gradiënt met betrekking tot x nie net gamma / spread maal die aankomende gradiënt nie. Die skuif van een x skuif die mean en die spread, wat elke ander uitset ook skuif. Die resultaat, per kenmerk, met g die aankomende gradiënt en N die pakkiegrootte:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Lees dit as: die eenvoudige gradiënt, minus die deel wat alles saam verskuif het (die gemiddelde term), minus die deel wat alles saam uitgereik het (die spreidingsterm). Daardie twee dele word deur die normalisering self gekanselleer.
A se opgeloste oplossing maak oop vanaf die wenke as jy vasbrand. Om hierdie les oor te slae blokkeer niks nie.
Woorde en simbole in hierdie les
- Xavier, LeCun, He
- beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
- BatchNorm (gamma, beta)
- normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
Skryf batchnorm_backward(X, gamma, g, eps=1e-5) wat (dX, dgamma, dbeta) teruggee vir 'n 2D-batch, waar g die gradiënt is wat by die uitset aankom.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.