Kurrikulum Leson 81 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

BatchNorm agterwaarts op 'n batch van 3 nommers (opsioneel)

Waarom dit saak maak Dit is die moeilikste terugwaartse reël in Deel 1, en dit is opsioneel. Die les is: wanneer elke uitset van elke inset afhanklik is (deur die gemiddelde en die spreiding), kry die gradient ekstra terme.

Werk dit op een kenmerk met 'n pakkie van 3 eerste. Met x_hat = (x - mean) / spread en y = gamma x_hat + beta, is die gradiënt met betrekking tot x nie net gamma / spread maal die aankomende gradiënt nie. Die skuif van een x skuif die mean en die spread, wat elke ander uitset ook skuif. Die resultaat, per kenmerk, met g die aankomende gradiënt en N die pakkiegrootte:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Lees dit as: die eenvoudige gradiënt, minus die deel wat alles saam verskuif het (die gemiddelde term), minus die deel wat alles saam uitgereik het (die spreidingsterm). Daardie twee dele word deur die normalisering self gekanselleer.

A se opgeloste oplossing maak oop vanaf die wenke as jy vasbrand. Om hierdie les oor te slae blokkeer niks nie.

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
BatchNorm (gamma, beta)
normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
Jou beurt

Skryf batchnorm_backward(X, gamma, g, eps=1e-5) wat (dX, dgamma, dbeta) teruggee vir 'n 2D-batch, waar g die gradiënt is wat by die uitset aankom.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.