Les positions comme des ondes
Pourquoi c'est important Les vecteurs de position appris s'arrêtent au texte le plus long vu à l'entraînement. Le transformer original utilisait plutôt des ondes fixes, qui donnent à chaque position un motif unique et rendent « à 3 pas d'écart » identique où que ce soit.
Pour la position p et l'indice de paire i (0, 1, 2, ...), avec d nombres au total :
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
La première paire est une onde rapide, les paires suivantes sont de plus en plus lentes, comme les aiguilles d'une horloge : secondes, minutes, heures. Ensemble, elles donnent à chaque position une lecture distincte.
La propriété utile : le produit scalaire PE[p] . PE[p + k] ne dépend que de k, la distance, pas de p. (Chaque paire apporte le cos de la différence d'angle, par l'identité sin a sin b + cos a cos b = cos(a - b).)
Où en est le domaine La plupart des modèles de langage ouverts actuels n'utilisent ni des ondes ajoutées à l'entrée ni des vecteurs de position appris. RoPE (rotary position embedding, Su et al. 2021) fait tourner chaque vecteur de requête et de clé d'un angle qui grandit avec sa position, après les projections de requête et de clé, pour que le score entre deux positions ne dépende que de leur écart. ALiBi (Press et al. 2021) n'ajoute aucun vecteur de position : il soustrait de chaque score d'attention une pénalité qui grandit avec la distance. Les deux se transposent mieux à des textes plus longs que ceux de l'entraînement. Les ondes présentées ici sont le choix du transformer original et les plus faciles à voir.
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- vecteur de position
- ajouté à chaque token pour que l'attention puisse distinguer l'ordre
Écris positions(n, d) qui renvoie un tableau n par d. Puis affecte à same_distance la plus grande différence entre les PE[p] . PE[p + 5] pour p = 0 à 50 (elle doit être pratiquement nulle).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.