Programme Leçon 146 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

La passe arrière à travers l'attention

Pourquoi c'est important Chaque bibliothèque la calcule pour toi, mais ce ne sont que quatre étapes que tu connais déjà. La dériver une fois, c'est ce qui fait de l'attention une couche que tu comprends, pas une boîte que tu appelles.

Vers l'avant, pour une séquence X (t positions par d) : Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) ligne par ligne, out = A V. La passe arrière parcourt les mêmes étapes à l'envers, étant donné G = dL/d(out) :

  1. out = A V est un produit matriciel (la règle de forme du module 2) : dA = G VT et dV = AT G.
  2. A = softmax(S), ligne par ligne (le gradient de softmax du module 2) : dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d) : dQ = dS K / sqrt(d) et dK = dST Q / sqrt(d).
  4. Q = X Wq (et pareil pour K et V) : dWq = XT dQ, dWk = XT dK, dWv = XT dV.

Ici d est la largeur des requêtes et des clés (le nombre de colonnes de Wq). Aucune règle nouvelle n'apparaît nulle part : la passe arrière de l'attention, ce sont deux produits matriciels et un softmax, exécutés à l'envers.

Récap Défais les étapes dans l'ordre inverse, chacune avec la règle que tu as déjà.

Mots et symboles de cette leçon
requête, clé, valeur
ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
À ton tour

Écris attention_backward(X, Wq, Wk, Wv, G) qui renvoie (dWq, dWk, dWv) pour out = softmax(Q KT / sqrt(d)) V sans masque. Le test caché vérifie chaque élément par rapport aux poussées.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.