BatchNorm backward auf einem Batch von 3 Zahlen (optional)
Warum das wichtig ist Dies ist die schwierigste Rückwärtsregel in Teil 1 und ist optional. Ihre Lektion: wenn jeder Output von jedem Input abhängt (durch den Mittelwert und die Streuung), nimmt der Gradient zusätzliche Terme auf.
Arbeite zuerst an einem Feature mit einem Batch von 3. Mit x_hat = (x - mean) / spread und y = gamma x_hat + beta ist der Gradient bezüglich x nicht einfach gamma / spread mal der ankommende Gradient. Das Verschieben eines x bewegt den mean und den spread, was auch jeden anderen Output bewegt. Das Ergebnis pro Feature, mit g als ankommendem Gradient und N als Batchgröße:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Lies es so: der einfache Gradient, minus dem Teil, der nur alles zusammen verschob (der Mittelwert-Term), minus dem Teil, der nur alles zusammen dehnte (der Streuungs-Term). Diese zwei Teile werden durch die Normalisierung selbst aufgehoben.
A gelöste Lösung öffnet sich aus den Hinweisen, wenn du feststeckst. Dieses Lesson zu überspringen blockiert nichts.
Wörter und Symbole in dieser Lektion
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
- BatchNorm (gamma, beta)
- Normalisiere jedes Feature über den Batch und skaliere dann mit gelerntem gamma und beta neu
Schreibe batchnorm_backward(X, gamma, g, eps=1e-5) und gib (dX, dgamma, dbeta) für einen 2D Batch zurück, wobei g der Gradient ist, der am Ausgang ankommt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.