Layer norm: mantenha cada vetor no intervalo
Por que isso importa O Módulo 6 manteve as ativações saudáveis com batch norm, que tira a média sobre o batch. Batches de texto variam em comprimento e a geração roda uma sequência por vez, então transformers normalizam o vetor de cada posição individualmente: layer norm.
Para um vetor x de d números: subtraia sua média, divida por seu desvio padrão (mais um epsilon minúsculo, 1e-5, para nunca dividir por 0), depois escale e desloque por g e b aprendidos:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
O vetor de cada token entra em cada parte de attention e cada feed-forward com média 0 e dispersão 1, não importa o quanto a soma acumulada tenha crescido.
Palavras e símbolos nesta lição
- atenção
- softmax das pontuações query-key, usada para tirar a média dos valores
- layer norm
- normalize cada vetor individualmente: média 0, dispersão 1, depois vezes g mais b
Escreva layer_norm(x, g, b) para um array de qualquer formato, normalizando ao longo do último eixo. Ele deve concordar com o layernorm.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.