Lehrplan Lektion 83 von 246 · Modul 6: Startgewichte und Normalisierung
Modul 6: Startgewichte und Normalisierung

LayerNorm und RMSNorm

Warum das wichtig ist Transformers nutzen kein BatchNorm. Sie normalisieren jedes Beispiel für sich allein, was die Batch-Falle vermeidet, auf die du gerade gestoßen bist, und funktioniert für jede Batch-Größe.

  • LayerNorm normalisiert über die Merkmale jedes Beispiels (jede Zeile): subtrahiere den Mittelwert der Zeile, dividiere durch die Streuung der Zeile, dann gamma und beta pro Merkmal. Gleich in Training und Nutzung.
  • RMSNorm ist einfacher und wird von vielen aktuellen Sprachmodellen verwendet: überspringe den Mittelwert und teile jede Zeile durch ihre Wurzel aus dem Mittelwert, sqrt(mean(x squared) + eps), dann multipliziere mit gamma.

Kleine Zahlen

Zeile [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm gibt [0.849, 1.131]. LayerNorm subtrahiert zuerst den Mittelwert 3.5: [-1, 1].

Wörter und Symbole in dieser Lektion
Xavier, LeCun, He
startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
BatchNorm (gamma, beta)
Normalisiere jedes Feature über den Batch und skaliere dann mit gelerntem gamma und beta neu
LayerNorm, RMSNorm
normalisiere jedes Beispiel einzeln über seine Merkmale
Du bist dran

Schreibe layernorm(X, gamma, beta, eps=1e-5) und rmsnorm(X, gamma, eps=1e-6), beide pro Zeile.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.