Programme Leçon 149 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Les positions comme des ondes

Pourquoi c'est important Les vecteurs de position appris s'arrêtent au texte le plus long vu à l'entraînement. Le transformer original utilisait plutôt des ondes fixes, qui donnent à chaque position un motif unique et rendent « à 3 pas d'écart » identique où que ce soit.

Pour la position p et l'indice de paire i (0, 1, 2, ...), avec d nombres au total :

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

La première paire est une onde rapide, les paires suivantes sont de plus en plus lentes, comme les aiguilles d'une horloge : secondes, minutes, heures. Ensemble, elles donnent à chaque position une lecture distincte.

La propriété utile : le produit scalaire PE[p] . PE[p + k] ne dépend que de k, la distance, pas de p. (Chaque paire apporte le cos de la différence d'angle, par l'identité sin a sin b + cos a cos b = cos(a - b).)

Où en est le domaine La plupart des modèles de langage ouverts actuels n'utilisent ni des ondes ajoutées à l'entrée ni des vecteurs de position appris. RoPE (rotary position embedding, Su et al. 2021) fait tourner chaque vecteur de requête et de clé d'un angle qui grandit avec sa position, après les projections de requête et de clé, pour que le score entre deux positions ne dépende que de leur écart. ALiBi (Press et al. 2021) n'ajoute aucun vecteur de position : il soustrait de chaque score d'attention une pénalité qui grandit avec la distance. Les deux se transposent mieux à des textes plus longs que ceux de l'entraînement. Les ondes présentées ici sont le choix du transformer original et les plus faciles à voir.

Mots et symboles de cette leçon
requête, clé, valeur
ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
vecteur de position
ajouté à chaque token pour que l'attention puisse distinguer l'ordre
À ton tour

Écris positions(n, d) qui renvoie un tableau n par d. Puis affecte à same_distance la plus grande différence entre les PE[p] . PE[p + 5] pour p = 0 à 50 (elle doit être pratiquement nulle).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.