LayerNorm e RMSNorm
Por que isso importa Transformers não usam BatchNorm. Eles normalizam cada exemplo individualmente, o que evita a armadilha do lote que você acabou de encontrar e funciona para qualquer tamanho de lote.
- LayerNorm normaliza através das características de cada exemplo (cada linha): subtraia a média da linha, divida pelo desvio da linha, depois gamma e beta por característica. Igual no treinamento e no uso.
- RMSNorm é mais simples e usado por muitos modelos de linguagem recentes: pule a média, divida cada linha pelo seu root mean square,
sqrt(mean(x squared) + eps), e depois multiplique por gamma.
Números pequenos
Linha [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm dá [0.849, 1.131]. LayerNorm subtrai a média 3.5 primeiro: [-1, 1].
Palavras e símbolos nesta lição
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
- BatchNorm (gamma, beta)
- normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
- LayerNorm, RMSNorm
- normalize cada exemplo individualmente, em suas features
Escreva layernorm(X, gamma, beta, eps=1e-5) e rmsnorm(X, gamma, eps=1e-6), ambos por linha.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.