L'attention n'a aucun sens de l'ordre
Pourquoi c'est important « Le chien mord l'homme » et « l'homme mord le chien » utilisent les mêmes mots. L'auto-attention, seule, ne peut pas les distinguer. Voir pourquoi explique l'ingrédient en plus que chaque transformer ajoute.
Mélange les lignes de X et les lignes de sortie de l'auto-attention sont mélangées de la même façon, rien d'autre ne change. Le résultat de chaque position dépend des vecteurs présents, pas de l'endroit où ils se trouvent. (Avec le masque causal, ce n'est pas tout à fait vrai : la position i voit exactement i + 1 tokens, donc un modèle peut apprendre à les compter, et les modèles causaux sans vecteurs de position apprennent bien l'ordre de cette façon. Mais c'est lent et peu fiable ; des vecteurs de position explicites rendent l'ordre facile.)
Donc les transformers ajoutent un vecteur de position à l'embedding de chaque token avant la première couche. Le GPT enregistré a appris un vecteur par position, 32 en tout. Qu'arrive-t-il à ses prédictions si on les efface ?
Mots et symboles de cette leçon
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- auto-attention
- chaque position porte son attention sur les positions du même texte
- masque causal
- les scores au-dessus de la diagonale mis à moins l'infini : aucune position ne voit le futur
- vecteur de position
- ajouté à chaque token pour que l'attention puisse distinguer l'ordre
Écris shuffle_check(f) : True si permuter les lignes d'un X aléatoire permute les lignes de sortie de f de la même façon. Ici f(X, Wq, Wk, Wv) ne renvoie que la sortie, comme attn ci-dessous ; crée des X et des poids aléatoires à l'intérieur de shuffle_check. Puis remplis with_pos et without_pos : la perte sur données mises de côté du modèle enregistré (model.eval_loss(held, n=32)) tel quel et avec model.P["pos"].data mis à zéro (remets-le en place ensuite).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.