Programme Leçon 145 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Le masque causal : pas de triche

Pourquoi c'est important Un modèle entraîné à prédire le caractère suivant ne doit pas voir le caractère suivant. Sans masque, il peut simplement copier la réponse, avoir l'air excellent à l'entraînement, puis échouer en génération, parce qu'au moment de générer, le futur n'existe pas encore.

Vois-le

Lance l'animation. La position i ne peut porter son attention que sur les positions 0 à i. Avant le softmax, chaque score au-dessus de la diagonale est mis à moins l'infini, donc son poids devient exactement 0. Les poids forment alors un triangle inférieur.

Le test d'une fuite est direct : change un caractère à la position j, et rien de ce que le modèle calcule pour les positions avant j ne doit changer.

Quand le cours a entraîné un GPT de largeur 32 pendant 1 200 pas sans le masque, sa perte d'entraînement est tombée à 0.10, contre 1.51 avec le masque : il avait appris à copier la réponse depuis la position suivante, presque parfaitement. Mesurée honnêtement, sur du texte inconnu et sans le laisser regarder devant, sa perte valait 8.6 contre 2.3. Le nombre le plus bas était un mensonge : le modèle était bien pire. (Au début, à 400 pas, les deux exécutions se ressemblaient encore, 2.28 contre 2.24. La copie prend du temps à être découverte, puis elle prend le dessus.)

Mots et symboles de cette leçon
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
masque causal
les scores au-dessus de la diagonale mis à moins l'infini : aucune position ne voit le futur
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
À ton tour

Écris causal_attention(X, Wq, Wk, Wv) comme à la leçon 4 mais masquée. Puis leaks(f) : renvoie True si changer la dernière ligne d'un X aléatoire change une ligne antérieure de la sortie de f. Ici f est n'importe quelle fonction d'attention appelée comme la tienne, f(X, Wq, Wk, Wv), qui renvoie (output, weights) ; crée des X et des poids aléatoires à l'intérieur de leaks.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.