Programme Leçon 155 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Ce que regardent les têtes

Pourquoi c'est important Les poids d'attention peuvent se lire. Regarder ce que font des têtes entraînées, c'est le début de l'interprétabilité : comprendre un modèle par son intérieur, pas seulement par ses sorties.

Le modèle enregistré de largeur 64 a 2 couches de 4 têtes. Pour chaque tête, mesure combien d'attention, en moyenne, une position donne au caractère juste avant elle. Si une tête répartissait son attention uniformément sur tout ce qu'elle peut voir, ce nombre vaudrait environ 0.10 sur un extrait de 32 caractères.

Prédis : les têtes de quelle couche se spécialisent dans « regarder le caractère précédent » ?

Mots et symboles de cette leçon
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
À ton tour

Affecte à my_guess 0 ou 1. Écris prev_share(A) pour une matrice d'attention t par t : la moyenne de A[i, i - 1] pour i de 1 à t - 1. Remplis share : de (layer, head) vers la moyenne de prev_share sur les 40 extraits mis de côté, avec attention_maps.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.