Self-attention: elke positie vraagt naar elke andere
Waarom dit ertoe doet In een transformer is er geen aparte encoder om naar terug te kijken. Elke positie van de tekst let op de anderen, dus de vector van elk karakter wordt bijgewerkt met informatie van de rest van de zin.
Begin met X, één rij per positie (t rijen, d kolommen). Drie geleerde matrices maken de query, key en value van elke positie tegelijk:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Dit is de zachte lookup van les 1, uitgevoerd voor alle t queries tegelijk met twee matrix vermenigvuldigingen, dat is waarom het zo goed draait op snelle wiskundige routines.
Woorden en symbolen in deze les
- query, key, value
- waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
- self-attention
- elke positie let op de posities van dezelfde tekst
Schrijf self_attention(X, Wq, Wk, Wv) die (out, A) retourneert.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.