Was BatchNorm mit den Zahlen macht
Warum das wichtig ist BatchNorm machte sehr tiefe Netzwerke im Jahr 2015 trainierbar. Sieh dir an, was es mit den Zahlen macht, bevor du es baust.
Sieh es dir an
Spiele die Animation ab. Die Ausgaben einer Schicht treffen mit ihrem eigenen Mittelwert und ihrer Streuung pro Merkmal ein, einige riesig, einige winzig, einige verschoben. BatchNorm nimmt jedes Merkmal über die aktuelle batch, subtrahiert seinen Mittelwert und dividiert durch seine Streuung. Jedes Merkmal hat nun Mittelwert 0 und Streuung 1. Dann multipliziert es mit einem gelernten gamma und addiert ein gelerntes beta, damit das Netzwerk eine andere Skalierung wählen kann, falls das hilft.
Eine ehrliche Anmerkung: why BatchNorm hilft ist noch umstritten. Die Erklärung des Original-Papers ("internal covariate shift") ist nicht mehr die akzeptierte; glattere Loss-Landschaften und das Ermöglichen größerer Learning Rates sind besser gestützte Gründe. Was es mit den Zahlen macht ist nicht infrage gestellt.
BatchNorm: normalisiere jedes Merkmal mit den Statistiken der aktuellen Batch, dann skaliere neu mit gelerntem gamma und beta.
Wörter und Symbole in dieser Lektion
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
- BatchNorm (gamma, beta)
- Normalisiere jedes Feature über den Batch und skaliere dann mit dem gelernten gamma und beta neu
Vor dem Berechnen vorhersagen: ein Feature hat Werte [2, 4, 6, 8] in einem Batch, gamma ist 3 und beta ist 1. Setze my_output auf die vier Zahlen, die BatchNorm erzeugt (verwende eps = 0). Schreibe dann batchnorm_forward(X, gamma, beta, eps=1e-5) für einen 2D Batch.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.