Conteúdo do curso Lição 145 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

A máscara causal: nada de espiar

Por que isso importa Um modelo treinado para prever o próximo caractere não pode ver o próximo caractere. Sem uma máscara ele pode simplesmente copiar a resposta, parecer ótimo no treino e depois falhar ao gerar, porque na hora da geração o futuro ainda não existe.

Veja isso

Rode a animação. A posição i só pode prestar atenção às posições 0 a i. Antes da softmax, toda pontuação acima da diagonal vira menos infinito, então o peso dela fica exatamente 0. Os pesos então formam um triângulo inferior.

O teste de vazamento é direto: mude um caractere na posição j, e nada do que o modelo calcula para posições antes de j pode mudar.

Quando o curso treinou um GPT de largura 32 por 1,200 passos sem a máscara, a perda de treino caiu para 0.10, contra 1.51 com a máscara: ele tinha aprendido a copiar a resposta da próxima posição, quase perfeitamente. Medida com honestidade, em texto não visto e sem deixá-lo olhar à frente, a perda era 8.6 contra 2.3. O número menor era uma mentira: o modelo era muito pior. (No começo, com 400 passos, as duas execuções ainda pareciam iguais, 2.28 contra 2.24. Copiar demora um pouco para ser descoberto, e depois toma conta.)

Palavras e símbolos nesta lição
atenção
softmax das pontuações query-key, usada para fazer a média dos values
máscara causal
pontuações acima da diagonal viram menos infinito: nenhuma posição vê o futuro
head
uma de H atenções mais estreitas rodando lado a lado, cada uma com seu próprio padrão
Sua vez

Escreva causal_attention(X, Wq, Wk, Wv) como a lição 4 mas mascarada. Depois leaks(f): retorne True se mudar a última linha de um X aleatório mudar qualquer linha anterior da saída de f. Aqui f é qualquer função de atenção chamada como a sua, f(X, Wq, Wk, Wv), retornando (output, weights); crie X aleatório e pesos dentro de leaks.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.