Programme Leçon 83 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

LayerNorm et RMSNorm

Pourquoi c'est important Les transformers n'utilisent pas BatchNorm. Ils normalisent chaque exemple séparément, ce qui évite le piège du lot que tu viens de rencontrer et marche pour n'importe quelle taille de lot.

  • LayerNorm normalise à travers les caractéristiques de chaque exemple (chaque ligne) : soustrais la moyenne de la ligne, divise par la dispersion de la ligne, puis gamma et beta par caractéristique. Pareil à l'entraînement et à l'usage.
  • RMSNorm est plus simple et utilisé par beaucoup de modèles de langage récents : saute la moyenne, et divise chaque ligne par sa moyenne quadratique, sqrt(mean(x squared) + eps), puis multiplie par gamma.

De tout petits nombres

La ligne [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm donne [0.849, 1.131]. LayerNorm soustrait d'abord la moyenne 3.5 : [-1, 1].

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
BatchNorm (gamma, beta)
normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
LayerNorm, RMSNorm
normaliser chaque exemple séparément, à travers ses caractéristiques
À ton tour

Écris layernorm(X, gamma, beta, eps=1e-5) et rmsnorm(X, gamma, eps=1e-6), toutes deux par ligne.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.