Programma Les 141 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Aandacht is een zachte lookup

Waarom dit ertoe doet Attention is het enige nieuwe idee in een transformer. Alles wat je al weet. Het is een dictionary lookup die, in plaats van één item te kiezen, ze allemaal samenvoegt.

Bekijk het

Speel de animatie af. Een Python dictionary komt exact overeen met een key en geeft één waarde terug. Attention heeft een query q, een lijst van keys en een lijst van values. Het scoort de query tegen elke key met een dot product, zet de scores om naar weights met softmax (positief, optellend tot 1) en geeft het gewogen gemiddelde van de values terug.

weights = softmax(K @ q)
output  = weights @ V

Tintalletjes

q = [1, 0]. Sleutels [2, 0], [0, 2], [0, 0] geven scores 2, 0, 0. Softmax: e^2 = 7.39 en 1 en 1, dus de gewichten zijn 0.79, 0.11, 0.11. Met waarden 10, 20, 30 is de output 0.79 keer 10 + 0.11 keer 20 + 0.11 keer 30 = 13.2: vooral de eerste waarde, een beetje van de anderen.

Query, key, value: waar ik naar zoek; waar elk item op moet overeenkomen; wat elk item overdraagt als het overeenkomt.

Woorden en symbolen in deze les
query, key, value
waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
let op
softmax van query-key scores, gebruikt om de waarden te middelen
Jij bent aan de beurt

Schrijf attend(q, K, V) voor één query: geef (weights, output).

terug.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.