Lehrplan Lektion 150 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Layer norm: halte jeden Vektor im Bereich

Warum das wichtig ist Modul 6 hielt die Aktivierungen mit Batch Norm gesund, das über den Batch mittelt. Text-Batches sind unterschiedlich lang, und das Generieren läuft eine Sequenz nach der anderen, also normieren Transformer den Vektor jeder Position für sich: Layer Norm.

Für einen Vektor x aus d Zahlen: zieh seinen Mittelwert ab, teile durch seine Standardabweichung (plus ein winziges Epsilon, 1e-5, damit wir nie durch 0 teilen), dann skaliere und verschiebe mit den gelernten g und b:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

Der Vektor jedes Tokens geht mit Mittelwert 0 und Streuung 1 in jede Attention und jeden Feed-Forward-Teil, egal wie groß die laufende Summe geworden ist.

Wörter und Symbole in dieser Lektion
Attention
Softmax der Query-Key-Punktzahlen, benutzt, um die Values zu mitteln
Layer Norm
jeden Vektor für sich normieren: Mittelwert 0, Streuung 1, dann mal g plus b
Du bist dran

Schreibe layer_norm(x, g, b) für ein Array jeder Form und normalisiere entlang der letzten Achse. Es muss mit der Haus-Engine layernorm.

übereinstimmen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.