Achterwaarts door attention
Waarom dit ertoe doet Elke bibliotheek berekent dit voor je, maar het zijn slechts vier stappen die je al kent. Het één keer afleiden is wat van attention een laag maakt die je begrijpt, niet een box die je aanroept.
Voorwaarts, voor één sequentie X (t posities bij d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) rij voor rij, out = A V. Achterwaarts gaat door dezelfde stappen in omgekeerde volgorde, gegeven G = dL/d(out):
- out = Een V is een matrix vermenigvuldiging (de vormregel van Module 2): dA = G VT en dV = AT G.
- A = softmax(S), rij voor rij (de softmax gradiënt van Module 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) and dK = dST Q / sqrt(d).
- Q = X Wq (en hetzelfde voor K en V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Hier is d de breedte van de queries en keys (het aantal kolommen van Wq). Er verschijnt nergens een nieuwe regel: de backward pass van attention bestaat uit twee matrix vermenigvuldigingen en een softmax, voer backward uit.
Samenvatting Doe de stappen in omgekeerde volgorde, elk met de regel die je al hebt.
Woorden en symbolen in deze les
- query, key, value
- waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
Schrijf attention_backward(X, Wq, Wk, Wv, G) die (dWq, dWk, dWv) retourneert voor out = softmax(Q KT / sqrt(d)) V zonder mask. De verborgen test controleert elke invoer tegen nudging.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.