L'auto-attention : chaque position interroge toutes les autres
Pourquoi c'est important Dans un transformer, il n'y a pas d'encodeur séparé à regarder. Chaque position du texte porte son attention sur les autres, donc le vecteur de chaque caractère est mis à jour avec des informations venant du reste de la phrase.
Pars de X, une ligne par position (t lignes, d colonnes). Trois matrices apprises fabriquent d'un coup la requête, la clé et la valeur de chaque position :
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
C'est la recherche douce de la leçon 1, faite pour les t requêtes d'un coup avec deux produits matriciels, c'est pourquoi elle tourne si bien sur des routines de maths rapides.
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- auto-attention
- chaque position porte son attention sur les positions du même texte
Écris self_attention(X, Wq, Wk, Wv) qui renvoie (out, A).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.