Lehrplan Lektion 80 von 246 · Modul 6: Startgewichte und Normalisierung
Modul 6: Startgewichte und Normalisierung

BatchNorm forward und laufende Durchschnitte

Warum das wichtig istWährend des Trainings nutzt BatchNorm die eigenen Statistiken der Batch. Wenn das Modell auf einem Beispiel nach dem anderen verwendet wird, gibt es keine Batch, also muss es typische Statistiken aus dem Training speichern.

Während des Trainings behalte laufende Durchschnitte des Mittelwerts und der Varianz jedes Merkmals: running = (1 - momentum) * running + momentum * batch_value, mit einem Momentum von 0.1. Im Evaluierungsmodus normalisiere mit diesen laufenden Werten anstatt mit denen des Batches.

Trainingsmodus: nutze Batch-Statistiken und aktualisiere die laufenden Durchschnitte. Eval-Modus: nutze die gespeicherten laufenden Durchschnitte und ändere nichts.

Wörter und Symbole in dieser Lektion
Xavier, LeCun, He
startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
BatchNorm (gamma, beta)
Normalisiere jedes Feature über den Batch und skaliere dann mit dem gelernten gamma und beta neu
Du bist dran

Schreibe die Klasse BatchNorm(n, momentum=0.1, eps=1e-5) mit gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), einem training flag (start True) und __call__(X), das sich wie beschrieben verhält. Für running_var ist die Batch-Varianz, wie np.var sie berechnet (Teilen durch n), die Wahl des Kurses; PyTorch behält die unvoreingenommene (Teilen durch n - 1), und beide werden akzeptiert.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.