La normalisation de couche : garder chaque vecteur dans l'intervalle
Pourquoi c'est important Le module 6 gardait les activations saines avec la normalisation par lot, qui fait la moyenne sur le lot. Les lots de texte varient en longueur et la génération traite une séquence à la fois, donc les transformers normalisent le vecteur de chaque position séparément : la normalisation de couche.
Pour un vecteur x de d nombres : soustrais sa moyenne, divise par son écart type (plus un minuscule epsilon, 1e-5, pour ne jamais diviser par 0), puis mets à l'échelle et décale avec g et b appris :
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Le vecteur de chaque token entre dans chaque attention et chaque partie feed-forward avec une moyenne de 0 et une dispersion de 1, quelle que soit la taille qu'a prise la somme courante.
Mots et symboles de cette leçon
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- normalisation de couche
- normaliser chaque vecteur séparément : moyenne 0, dispersion 1, puis fois g plus b
Écris layer_norm(x, g, b) pour un tableau de n'importe quelle forme, en normalisant le long du dernier axe. Elle doit s'accorder avec le layernorm du moteur du cours.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.