Achterwaarts deur aandag
Waarom dit saak maak Elke biblioteek bereken dit vir jou, maar dit is net vier stappe wat jy reeds ken. Om dit een keer af te lei maak aandag 'n laag wat jy verstaan, nie 'n boks wat jy aanroep nie.
Vorentoe, vir een reeks X (t posisies by d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) ryk vir ryk, out = A V. Agtertoe gaan deur dieselfde stappe in omgekeerde volgorde, gegee G = dL/d(out):
- out = A V is 'n matriksvermegvuldiging (Module 2 se vormreël): dA = G VT en dV = AT G.
- A = softmax(S), ry vir ry (Module 2 se softmax gradiënt): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) en dK = dST Q / sqrt(d).
- Q = X Wq (en dieselfde vir K en V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Hier is d die breedte van die queries en keys (Wq se aantal kolomme). Geen nuwe reël verskyn nêrens nie: attention se backward pass is twee matrix vermenigvuldigings en 'n softmax, hardloop agterwerp.
Opsomming Doen die stappe in omgekeerde volgorde, elk met die reël wat jy reeds het.
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet pas; wat dit oorhandig
- aandag
- softmax van query-key scores, gebruik om die waardes te gemiddelde
Skryf attention_backward(X, Wq, Wk, Wv, G) wat (dWq, dWk, dWv) teruggee vir out = softmax(Q KT / sqrt(d)) V sonder 'n mask. Die verborge toets kontroleer elke inskrywing teen nudging.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.