Programma Les 144 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Self-attention: elke positie vraagt naar elke andere

Waarom dit ertoe doet In een transformer is er geen aparte encoder om naar terug te kijken. Elke positie van de tekst let op de anderen, dus de vector van elk karakter wordt bijgewerkt met informatie van de rest van de zin.

Begin met X, één rij per positie (t rijen, d kolommen). Drie geleerde matrices maken de query, key en value van elke positie tegelijk:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

Dit is de zachte lookup van les 1, uitgevoerd voor alle t queries tegelijk met twee matrix vermenigvuldigingen, dat is waarom het zo goed draait op snelle wiskundige routines.

Woorden en symbolen in deze les
query, key, value
waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
let op
softmax van query-key scores, gebruikt om de waarden te middelen
self-attention
elke positie let op de posities van dezelfde tekst
Jij bent aan de beurt

Schrijf self_attention(X, Wq, Wk, Wv) die (out, A) retourneert.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.