Warum durch die Quadratwurzel von d teilen
Warum das wichtig istJeder Transformer dividiert seine Attention-Scores durch die Quadratwurzel der Key-Größe. Lass es weg und Attention hört auf zu mischen und seine Gradienten verschwinden fast. Du wirst messen, warum.
A Skalarprodukt von zwei zufälligen Vektoren der Länge d addiert d Produkte. Jedes hat eine Streuung von etwa 1, also hat die Summe eine Streuung von etwa der Quadratwurzel von d. Der Grund: Wenn du unabhängige Zufallszahlen addierst, addieren sich ihre Streuungen nicht, ihre Quadrate tun dies (die Quadrate werden Varianzen genannt). d Produkte, jedes mit einer Varianz von 1, geben eine Varianz von d, also ist die Streuung die Quadratwurzel von d. Für d = 64 ist das 8.
Scores, die über plus und minus 8 oder mehr verteilt sind, machen softmax fast zu one-hot: ein Gewicht nahe 1, der Rest nahe 0. Ein one-hot softmax hat winzige Gradienten: die Steigung jedes Outputs in Bezug auf seinen eigenen Score ist p(1 - p), was nahe 0 ist, wenn p nahe 0 oder 1 ist (die softmax-gradient Lektion von Modul 2 leitet sie ab, und die backward-through-attention Lektion dieses Moduls nutzt sie), also lernt das Modell langsam. Durch die Quadratwurzel von d zu teilen bringt die Verteilung zurück auf etwa 1, egal was d ist.
Predict: Wenn d von 4 auf 256 wächst, was passiert mit dem größten Gewicht, mit und ohne die Division?
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
Fülle
my_guess. Schreibe dann top_weight(d, scaled): 2,000 zufällige Abfragen gegen jeweils 32 zufällige Schlüssel (normale Zahlen, seed 0), den Durchschnitt des größten softmax weights. Fülle measured.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.