La passe arrière à travers l'attention
Pourquoi c'est important Chaque bibliothèque la calcule pour toi, mais ce ne sont que quatre étapes que tu connais déjà. La dériver une fois, c'est ce qui fait de l'attention une couche que tu comprends, pas une boîte que tu appelles.
Vers l'avant, pour une séquence X (t positions par d) : Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) ligne par ligne, out = A V. La passe arrière parcourt les mêmes étapes à l'envers, étant donné G = dL/d(out) :
- out = A V est un produit matriciel (la règle de forme du module 2) : dA = G VT et dV = AT G.
- A = softmax(S), ligne par ligne (le gradient de softmax du module 2) : dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d) : dQ = dS K / sqrt(d) et dK = dST Q / sqrt(d).
- Q = X Wq (et pareil pour K et V) : dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Ici d est la largeur des requêtes et des clés (le nombre de colonnes de Wq). Aucune règle nouvelle n'apparaît nulle part : la passe arrière de l'attention, ce sont deux produits matriciels et un softmax, exécutés à l'envers.
Récap Défais les étapes dans l'ordre inverse, chacune avec la règle que tu as déjà.
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
Écris attention_backward(X, Wq, Wk, Wv, G) qui renvoie (dWq, dWk, dWv) pour out = softmax(Q KT / sqrt(d)) V sans masque. Le test caché vérifie chaque élément par rapport aux poussées.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.