Programme Leçon 142 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Pourquoi diviser par la racine carrée de d

Pourquoi c'est important Chaque transformer divise ses scores d'attention par la racine carrée de la taille des clés. Oublie-le et l'attention cesse de mélanger et ses gradients disparaissent presque. Tu vas mesurer pourquoi.

Un produit scalaire de deux vecteurs aléatoires de longueur d additionne d produits. Chacun a une dispersion d'environ 1, donc la somme a une dispersion d'environ la racine carrée de d. La raison : quand tu additionnes des nombres aléatoires indépendants, leurs dispersions ne s'additionnent pas, ce sont leurs carrés qui s'additionnent (les carrés s'appellent des variances). d produits, chacun de variance 1, donnent une variance d, donc la dispersion vaut la racine carrée de d. Pour d = 64, ça fait 8.

Des scores étalés sur plus et moins 8 ou davantage rendent softmax presque one-hot : un poids proche de 1, les autres proches de 0. Un softmax one-hot a des gradients minuscules : la pente de chaque sortie par rapport à son propre score vaut p(1 - p), qui est proche de 0 quand p est proche de 0 ou de 1 (la leçon du module 2 sur le gradient de softmax la dérive, et la leçon de ce module sur la passe arrière de l'attention l'utilise), donc le modèle apprend lentement. Diviser par la racine carrée de d ramène la dispersion à environ 1, quel que soit d.

Prédis : quand d passe de 4 à 256, qu'arrive-t-il au plus grand poids, avec et sans la division ?

Mots et symboles de cette leçon
requête, clé, valeur
ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
À ton tour

Remplis my_guess. Puis écris top_weight(d, scaled) : 2 000 requêtes aléatoires face à 32 clés aléatoires chacune (nombres normaux, graine 0), la moyenne du plus grand poids de softmax. Remplis measured.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.