Programme Leçon 148 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

L'attention n'a aucun sens de l'ordre

Pourquoi c'est important « Le chien mord l'homme » et « l'homme mord le chien » utilisent les mêmes mots. L'auto-attention, seule, ne peut pas les distinguer. Voir pourquoi explique l'ingrédient en plus que chaque transformer ajoute.

Mélange les lignes de X et les lignes de sortie de l'auto-attention sont mélangées de la même façon, rien d'autre ne change. Le résultat de chaque position dépend des vecteurs présents, pas de l'endroit où ils se trouvent. (Avec le masque causal, ce n'est pas tout à fait vrai : la position i voit exactement i + 1 tokens, donc un modèle peut apprendre à les compter, et les modèles causaux sans vecteurs de position apprennent bien l'ordre de cette façon. Mais c'est lent et peu fiable ; des vecteurs de position explicites rendent l'ordre facile.)

Donc les transformers ajoutent un vecteur de position à l'embedding de chaque token avant la première couche. Le GPT enregistré a appris un vecteur par position, 32 en tout. Qu'arrive-t-il à ses prédictions si on les efface ?

Mots et symboles de cette leçon
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
auto-attention
chaque position porte son attention sur les positions du même texte
masque causal
les scores au-dessus de la diagonale mis à moins l'infini : aucune position ne voit le futur
vecteur de position
ajouté à chaque token pour que l'attention puisse distinguer l'ordre
À ton tour

Écris shuffle_check(f) : True si permuter les lignes d'un X aléatoire permute les lignes de sortie de f de la même façon. Ici f(X, Wq, Wk, Wv) ne renvoie que la sortie, comme attn ci-dessous ; crée des X et des poids aléatoires à l'intérieur de shuffle_check. Puis remplis with_pos et without_pos : la perte sur données mises de côté du modèle enregistré (model.eval_loss(held, n=32)) tel quel et avec model.P["pos"].data mis à zéro (remets-le en place ensuite).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.