Veel koppen, dezelfde kosten
Waarom dit ertoe doet Eén attention patroon per laag is beperkend: een positie wil misschien naar het vorige teken kijken en tegelijkertijd naar het begin van het woord. Multi-head attention voert meerdere kleinere attentions naast elkaar uit.
Bekijk het
Speel de animatie af. Splits de d kolommen van Q, K en V in H groepen van d / H. Elke groep (een head) doet zijn eigen attention met zijn eigen patroon. Plak de H outputs weer naast elkaar in d kolommen, en meng ze dan met nog een matrix Wo.
De kosten: dezelfde matrices als één grote kop, maar dan in stukken gesneden, dus het aantal parameters verandert niet. Elke kop is smaller, dus het deelt door de vierkantswortel van d / H.
Woorden en symbolen in deze les
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
- head
- one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
Schrijf multi_head(X, Wq, Wk, Wv, Wo, H) (geen masker), geef de output en een lijst van H attention matrices terug.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.