Lehrplan Lektion 79 von 246 · Modul 6: Startgewichte und Normalisierung
Modul 6: Startgewichte und Normalisierung

Was BatchNorm mit den Zahlen macht

Warum das wichtig ist BatchNorm machte sehr tiefe Netzwerke im Jahr 2015 trainierbar. Sieh dir an, was es mit den Zahlen macht, bevor du es baust.

Sieh es dir an

Spiele die Animation ab. Die Ausgaben einer Schicht treffen mit ihrem eigenen Mittelwert und ihrer Streuung pro Merkmal ein, einige riesig, einige winzig, einige verschoben. BatchNorm nimmt jedes Merkmal über die aktuelle batch, subtrahiert seinen Mittelwert und dividiert durch seine Streuung. Jedes Merkmal hat nun Mittelwert 0 und Streuung 1. Dann multipliziert es mit einem gelernten gamma und addiert ein gelerntes beta, damit das Netzwerk eine andere Skalierung wählen kann, falls das hilft.

Eine ehrliche Anmerkung: why BatchNorm hilft ist noch umstritten. Die Erklärung des Original-Papers ("internal covariate shift") ist nicht mehr die akzeptierte; glattere Loss-Landschaften und das Ermöglichen größerer Learning Rates sind besser gestützte Gründe. Was es mit den Zahlen macht ist nicht infrage gestellt.

BatchNorm: normalisiere jedes Merkmal mit den Statistiken der aktuellen Batch, dann skaliere neu mit gelerntem gamma und beta.

Wörter und Symbole in dieser Lektion
Xavier, LeCun, He
startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
BatchNorm (gamma, beta)
Normalisiere jedes Feature über den Batch und skaliere dann mit dem gelernten gamma und beta neu
Du bist dran

Vor dem Berechnen vorhersagen: ein Feature hat Werte [2, 4, 6, 8] in einem Batch, gamma ist 3 und beta ist 1. Setze my_output auf die vier Zahlen, die BatchNorm erzeugt (verwende eps = 0). Schreibe dann batchnorm_forward(X, gamma, beta, eps=1e-5) für einen 2D Batch.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.