LayerNorm et RMSNorm
Pourquoi c'est important Les transformers n'utilisent pas BatchNorm. Ils normalisent chaque exemple séparément, ce qui évite le piège du lot que tu viens de rencontrer et marche pour n'importe quelle taille de lot.
- LayerNorm normalise à travers les caractéristiques de chaque exemple (chaque ligne) : soustrais la moyenne de la ligne, divise par la dispersion de la ligne, puis gamma et beta par caractéristique. Pareil à l'entraînement et à l'usage.
- RMSNorm est plus simple et utilisé par beaucoup de modèles de langage récents : saute la moyenne, et divise chaque ligne par sa moyenne quadratique,
sqrt(mean(x squared) + eps), puis multiplie par gamma.
De tout petits nombres
La ligne [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm donne [0.849, 1.131]. LayerNorm soustrait d'abord la moyenne 3.5 : [-1, 1].
Mots et symboles de cette leçon
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
- BatchNorm (gamma, beta)
- normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
- LayerNorm, RMSNorm
- normaliser chaque exemple séparément, à travers ses caractéristiques
Écris layernorm(X, gamma, beta, eps=1e-5) et rmsnorm(X, gamma, eps=1e-6), toutes deux par ligne.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.