LayerNorm und RMSNorm
Warum das wichtig ist Transformers nutzen kein BatchNorm. Sie normalisieren jedes Beispiel für sich allein, was die Batch-Falle vermeidet, auf die du gerade gestoßen bist, und funktioniert für jede Batch-Größe.
- LayerNorm normalisiert über die Merkmale jedes Beispiels (jede Zeile): subtrahiere den Mittelwert der Zeile, dividiere durch die Streuung der Zeile, dann gamma und beta pro Merkmal. Gleich in Training und Nutzung.
- RMSNorm ist einfacher und wird von vielen aktuellen Sprachmodellen verwendet: überspringe den Mittelwert und teile jede Zeile durch ihre Wurzel aus dem Mittelwert,
sqrt(mean(x squared) + eps), dann multipliziere mit gamma.
Kleine Zahlen
Zeile [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm gibt [0.849, 1.131]. LayerNorm subtrahiert zuerst den Mittelwert 3.5: [-1, 1].
Wörter und Symbole in dieser Lektion
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
- BatchNorm (gamma, beta)
- Normalisiere jedes Feature über den Batch und skaliere dann mit gelerntem gamma und beta neu
- LayerNorm, RMSNorm
- normalisiere jedes Beispiel einzeln über seine Merkmale
Schreibe layernorm(X, gamma, beta, eps=1e-5) und rmsnorm(X, gamma, eps=1e-6), beide pro Zeile.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.