Positionen als Wellen
Warum das wichtig ist Gelernte Positionsvektoren hören beim längsten Text an, der im Training gesehen wurde. Der ursprüngliche Transformer verwendete stattdessen feste Wellen. Diese geben jeder Position ein einzigartiges Muster und lassen "3 Schritte entfernt" überall gleich aussehen.
Für Position p und Paarindex i (0, 1, 2, ...), mit insgesamt d Zahlen:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
Das erste Paar ist eine schnelle Welle, spätere Paare sind immer langsamer, wie die Zeiger einer Uhr: Sekunden, Minuten, Stunden. Zusammen geben sie jeder Position einen eindeutigen Wert.
Die nützliche Eigenschaft: Das Skalarprodukt PE[p] . PE[p + k] hängt nur von k, der Distanz, ab und nicht von p. (Jedes Paar trägt den Cosinus der Winkeldifferenz bei, durch die Identität sin a sin b + cos a cos b = cos(a - b).)
Wo das Feld jetzt ist Die meisten offenen Sprachmodelle heute nutzen weder Wellen, die zur Eingabe hinzugefügt werden, noch gelernte Positionsvektoren. RoPE (rotary position embedding, Su et al. 2021) dreht jeden Query und Key Vektor um einen Winkel, der mit seiner Position wächst, nach den Query und Key Projektionen, sodass der Score zwischen zwei Positionen nur davon abhängt, wie weit sie voneinander entfernt sind. ALiBi (Press et al. 2021) fügt gar keine Positionsvektoren hinzu: es subtrahiert eine Strafe von jedem Attention Score, die mit der Distanz wächst. Beide übertragen sich besser auf Texte, die länger sind als die Trainingsdaten. Die Wellen hier sind die ursprüngliche Wahl des Transformers und am einfachsten zu sehen.
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleichen anbietet; was sie übergibt
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
- Positionsvektor
- wurde jedem Token hinzugefügt, damit die attention die Reihenfolge erkennen kann
Schreibe positions(n, d) und gib ein n mal d Array zurück. Setze dann same_distance auf die größte Differenz zwischen PE[p] . PE[p + 5] über p = 0 bis 50 (es sollte im Wesentlichen 0 sein).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.