Lehrplan Lektion 142 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Warum durch die Quadratwurzel von d teilen

Warum das wichtig istJeder Transformer dividiert seine Attention-Scores durch die Quadratwurzel der Key-Größe. Lass es weg und Attention hört auf zu mischen und seine Gradienten verschwinden fast. Du wirst messen, warum.

A Skalarprodukt von zwei zufälligen Vektoren der Länge d addiert d Produkte. Jedes hat eine Streuung von etwa 1, also hat die Summe eine Streuung von etwa der Quadratwurzel von d. Der Grund: Wenn du unabhängige Zufallszahlen addierst, addieren sich ihre Streuungen nicht, ihre Quadrate tun dies (die Quadrate werden Varianzen genannt). d Produkte, jedes mit einer Varianz von 1, geben eine Varianz von d, also ist die Streuung die Quadratwurzel von d. Für d = 64 ist das 8.

Scores, die über plus und minus 8 oder mehr verteilt sind, machen softmax fast zu one-hot: ein Gewicht nahe 1, der Rest nahe 0. Ein one-hot softmax hat winzige Gradienten: die Steigung jedes Outputs in Bezug auf seinen eigenen Score ist p(1 - p), was nahe 0 ist, wenn p nahe 0 oder 1 ist (die softmax-gradient Lektion von Modul 2 leitet sie ab, und die backward-through-attention Lektion dieses Moduls nutzt sie), also lernt das Modell langsam. Durch die Quadratwurzel von d zu teilen bringt die Verteilung zurück auf etwa 1, egal was d ist.

Predict: Wenn d von 4 auf 256 wächst, was passiert mit dem größten Gewicht, mit und ohne die Division?

Wörter und Symbole in dieser Lektion
abfrage, Schlüssel, Wert
was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
attention
softmax der query-key scores, verwendet um die Werte zu mitteln
Du bist dran

Fülle

my_guess. Schreibe dann top_weight(d, scaled): 2,000 zufällige Abfragen gegen jeweils 32 zufällige Schlüssel (normale Zahlen, seed 0), den Durchschnitt des größten softmax weights. Fülle measured.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.