Conteúdo do curso Lição 83 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

LayerNorm e RMSNorm

Por que isso importa Transformers não usam BatchNorm. Eles normalizam cada exemplo individualmente, o que evita a armadilha do lote que você acabou de encontrar e funciona para qualquer tamanho de lote.

  • LayerNorm normaliza através das características de cada exemplo (cada linha): subtraia a média da linha, divida pelo desvio da linha, depois gamma e beta por característica. Igual no treinamento e no uso.
  • RMSNorm é mais simples e usado por muitos modelos de linguagem recentes: pule a média, divida cada linha pelo seu root mean square, sqrt(mean(x squared) + eps), e depois multiplique por gamma.

Números pequenos

Linha [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm dá [0.849, 1.131]. LayerNorm subtrai a média 3.5 primeiro: [-1, 1].

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
BatchNorm (gamma, beta)
normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
LayerNorm, RMSNorm
normalize cada exemplo individualmente, em suas features
Sua vez

Escreva layernorm(X, gamma, beta, eps=1e-5) e rmsnorm(X, gamma, eps=1e-6), ambos por linha.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.