Layer norm: halte jeden Vektor im Bereich
Warum das wichtig ist Modul 6 hielt die Aktivierungen mit Batch Norm gesund, das über den Batch mittelt. Text-Batches sind unterschiedlich lang, und das Generieren läuft eine Sequenz nach der anderen, also normieren Transformer den Vektor jeder Position für sich: Layer Norm.
Für einen Vektor x aus d Zahlen: zieh seinen Mittelwert ab, teile durch seine Standardabweichung (plus ein winziges Epsilon, 1e-5, damit wir nie durch 0 teilen), dann skaliere und verschiebe mit den gelernten g und b:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Der Vektor jedes Tokens geht mit Mittelwert 0 und Streuung 1 in jede Attention und jeden Feed-Forward-Teil, egal wie groß die laufende Summe geworden ist.
Wörter und Symbole in dieser Lektion
- Attention
- Softmax der Query-Key-Punktzahlen, benutzt, um die Values zu mitteln
- Layer Norm
- jeden Vektor für sich normieren: Mittelwert 0, Streuung 1, dann mal g plus b
Schreibe layer_norm(x, g, b) für ein Array jeder Form und normalisiere entlang der letzten Achse. Es muss mit der Haus-Engine layernorm.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.