Self-aandag: elke posisie vra elke ander een
Waarom dit saak maak In 'n transformer is daar geen aparte enkoder om terug te kyk nie. Elke posisie van die teks kyk na die anderne, so elke karakter se vektor word opgedateer met inligting van die res van die sin.
Begin met X, een ry per posisie (t rye, d kolomme). Drie geleerde matrices maak elke posisie se query, key en value gelyktydig:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Dit is die sagte soek van les 1, gedoen vir alle t navrae gelyktydig met twee matriksvermenigvuldigings, dit is waarom dit so goed werk op vinnige wiskunderoutines.
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
- aandag
- softmax van query-key-telling, gebruik om die waardes te gemiddelde
- self-attention
- elke posisie let op die posisies van dieselfde teks
Skryf self_attention(X, Wq, Wk, Wv) wat (out, A) teruggee.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.