Beaucoup de têtes, même coût
Pourquoi c'est important Un seul motif d'attention par couche, c'est limitant : une position pourrait vouloir regarder le caractère précédent et, en même temps, le début du mot. L'attention multi-têtes fait tourner plusieurs attentions plus petites côte à côte.
Vois-le
Lance l'animation. Découpe les d colonnes de Q, K et V en H groupes de d / H. Chaque groupe (une tête) fait sa propre attention avec son propre motif. Recolle les H sorties côte à côte en d colonnes, puis mélange-les avec une matrice de plus, Wo.
Le coût : les mêmes matrices qu'une seule grande tête, juste découpées en morceaux, donc le nombre de paramètres ne change pas. Chaque tête est plus étroite, donc elle divise par la racine carrée de d / H.
Mots et symboles de cette leçon
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- tête
- une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
Écris multi_head(X, Wq, Wk, Wv, Wo, H) (sans masque), qui renvoie la sortie et une liste de H matrices d'attention.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.