Conteúdo do curso Lição 150 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Layer norm: mantenha cada vetor no intervalo

Por que isso importa O Módulo 6 manteve as ativações saudáveis com batch norm, que tira a média sobre o batch. Batches de texto variam em comprimento e a geração roda uma sequência por vez, então transformers normalizam o vetor de cada posição individualmente: layer norm.

Para um vetor x de d números: subtraia sua média, divida por seu desvio padrão (mais um epsilon minúsculo, 1e-5, para nunca dividir por 0), depois escale e desloque por g e b aprendidos:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

O vetor de cada token entra em cada parte de attention e cada feed-forward com média 0 e dispersão 1, não importa o quanto a soma acumulada tenha crescido.

Palavras e símbolos nesta lição
atenção
softmax das pontuações query-key, usada para tirar a média dos valores
layer norm
normalize cada vetor individualmente: média 0, dispersão 1, depois vezes g mais b
Sua vez

Escreva layer_norm(x, g, b) para um array de qualquer formato, normalizando ao longo do último eixo. Ele deve concordar com o layernorm.

do motor da casa.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.