Pourquoi diviser par la racine carrée de d
Pourquoi c'est important Chaque transformer divise ses scores d'attention par la racine carrée de la taille des clés. Oublie-le et l'attention cesse de mélanger et ses gradients disparaissent presque. Tu vas mesurer pourquoi.
Un produit scalaire de deux vecteurs aléatoires de longueur d additionne d produits. Chacun a une dispersion d'environ 1, donc la somme a une dispersion d'environ la racine carrée de d. La raison : quand tu additionnes des nombres aléatoires indépendants, leurs dispersions ne s'additionnent pas, ce sont leurs carrés qui s'additionnent (les carrés s'appellent des variances). d produits, chacun de variance 1, donnent une variance d, donc la dispersion vaut la racine carrée de d. Pour d = 64, ça fait 8.
Des scores étalés sur plus et moins 8 ou davantage rendent softmax presque one-hot : un poids proche de 1, les autres proches de 0. Un softmax one-hot a des gradients minuscules : la pente de chaque sortie par rapport à son propre score vaut p(1 - p), qui est proche de 0 quand p est proche de 0 ou de 1 (la leçon du module 2 sur le gradient de softmax la dérive, et la leçon de ce module sur la passe arrière de l'attention l'utilise), donc le modèle apprend lentement. Diviser par la racine carrée de d ramène la dispersion à environ 1, quel que soit d.
Prédis : quand d passe de 4 à 256, qu'arrive-t-il au plus grand poids, avec et sans la division ?
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
Remplis my_guess. Puis écris top_weight(d, scaled) : 2 000 requêtes aléatoires face à 32 clés aléatoires chacune (nombres normaux, graine 0), la moyenne du plus grand poids de softmax. Remplis measured.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.