Kurrikulum Leson 146 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Achterwaarts deur aandag

Waarom dit saak maak Elke biblioteek bereken dit vir jou, maar dit is net vier stappe wat jy reeds ken. Om dit een keer af te lei maak aandag 'n laag wat jy verstaan, nie 'n boks wat jy aanroep nie.

Vorentoe, vir een reeks X (t posisies by d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) ryk vir ryk, out = A V. Agtertoe gaan deur dieselfde stappe in omgekeerde volgorde, gegee G = dL/d(out):

  1. out = A V is 'n matriksvermegvuldiging (Module 2 se vormreël): dA = G VT en dV = AT G.
  2. A = softmax(S), ry vir ry (Module 2 se softmax gradiënt): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) en dK = dST Q / sqrt(d).
  4. Q = X Wq (en dieselfde vir K en V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.

Hier is d die breedte van die queries en keys (Wq se aantal kolomme). Geen nuwe reël verskyn nêrens nie: attention se backward pass is twee matrix vermenigvuldigings en 'n softmax, hardloop agterwerp.

Opsomming Doen die stappe in omgekeerde volgorde, elk met die reël wat jy reeds het.

Woorde en simbole in hierdie les
query, sleutel, waarde
waarna 'n posisie soek; waarna elke posisie moet pas; wat dit oorhandig
aandag
softmax van query-key scores, gebruik om die waardes te gemiddelde
Jou beurt

Skryf attention_backward(X, Wq, Wk, Wv, G) wat (dWq, dWk, dWv) teruggee vir out = softmax(Q KT / sqrt(d)) V sonder 'n mask. Die verborge toets kontroleer elke inskrywing teen nudging.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.