Programme Leçon 147 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Beaucoup de têtes, même coût

Pourquoi c'est important Un seul motif d'attention par couche, c'est limitant : une position pourrait vouloir regarder le caractère précédent et, en même temps, le début du mot. L'attention multi-têtes fait tourner plusieurs attentions plus petites côte à côte.

Vois-le

Lance l'animation. Découpe les d colonnes de Q, K et V en H groupes de d / H. Chaque groupe (une tête) fait sa propre attention avec son propre motif. Recolle les H sorties côte à côte en d colonnes, puis mélange-les avec une matrice de plus, Wo.

Le coût : les mêmes matrices qu'une seule grande tête, juste découpées en morceaux, donc le nombre de paramètres ne change pas. Chaque tête est plus étroite, donc elle divise par la racine carrée de d / H.

Mots et symboles de cette leçon
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
À ton tour

Écris multi_head(X, Wq, Wk, Wv, Wo, H) (sans masque), qui renvoie la sortie et une liste de H matrices d'attention.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.