Kurrikulum Leson 144 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Self-aandag: elke posisie vra elke ander een

Waarom dit saak maak In 'n transformer is daar geen aparte enkoder om terug te kyk nie. Elke posisie van die teks kyk na die anderne, so elke karakter se vektor word opgedateer met inligting van die res van die sin.

Begin met X, een ry per posisie (t rye, d kolomme). Drie geleerde matrices maak elke posisie se query, key en value gelyktydig:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

Dit is die sagte soek van les 1, gedoen vir alle t navrae gelyktydig met twee matriksvermenigvuldigings, dit is waarom dit so goed werk op vinnige wiskunderoutines.

Woorde en simbole in hierdie les
query, sleutel, waarde
waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
aandag
softmax van query-key-telling, gebruik om die waardes te gemiddelde
self-attention
elke posisie let op die posisies van dieselfde teks
Jou beurt

Skryf self_attention(X, Wq, Wk, Wv) wat (out, A) teruggee.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.