Aandacht is een zachte lookup
Waarom dit ertoe doet Attention is het enige nieuwe idee in een transformer. Alles wat je al weet. Het is een dictionary lookup die, in plaats van één item te kiezen, ze allemaal samenvoegt.
Bekijk het
Speel de animatie af. Een Python dictionary komt exact overeen met een key en geeft één waarde terug. Attention heeft een query q, een lijst van keys en een lijst van values. Het scoort de query tegen elke key met een dot product, zet de scores om naar weights met softmax (positief, optellend tot 1) en geeft het gewogen gemiddelde van de values terug.
weights = softmax(K @ q)
output = weights @ V
Tintalletjes
q = [1, 0]. Sleutels [2, 0], [0, 2], [0, 0] geven scores 2, 0, 0. Softmax: e^2 = 7.39 en 1 en 1, dus de gewichten zijn 0.79, 0.11, 0.11. Met waarden 10, 20, 30 is de output 0.79 keer 10 + 0.11 keer 20 + 0.11 keer 30 = 13.2: vooral de eerste waarde, een beetje van de anderen.
Query, key, value: waar ik naar zoek; waar elk item op moet overeenkomen; wat elk item overdraagt als het overeenkomt.
Woorden en symbolen in deze les
- query, key, value
- waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
Schrijf attend(q, K, V) voor één query: geef (weights, output).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.