A máscara causal: nada de espiar
Por que isso importa Um modelo treinado para prever o próximo caractere não pode ver o próximo caractere. Sem uma máscara ele pode simplesmente copiar a resposta, parecer ótimo no treino e depois falhar ao gerar, porque na hora da geração o futuro ainda não existe.
Veja isso
Rode a animação. A posição i só pode prestar atenção às posições 0 a i. Antes da softmax, toda pontuação acima da diagonal vira menos infinito, então o peso dela fica exatamente 0. Os pesos então formam um triângulo inferior.
O teste de vazamento é direto: mude um caractere na posição j, e nada do que o modelo calcula para posições antes de j pode mudar.
Quando o curso treinou um GPT de largura 32 por 1,200 passos sem a máscara, a perda de treino caiu para 0.10, contra 1.51 com a máscara: ele tinha aprendido a copiar a resposta da próxima posição, quase perfeitamente. Medida com honestidade, em texto não visto e sem deixá-lo olhar à frente, a perda era 8.6 contra 2.3. O número menor era uma mentira: o modelo era muito pior. (No começo, com 400 passos, as duas execuções ainda pareciam iguais, 2.28 contra 2.24. Copiar demora um pouco para ser descoberto, e depois toma conta.)
Palavras e símbolos nesta lição
- atenção
- softmax das pontuações query-key, usada para fazer a média dos values
- máscara causal
- pontuações acima da diagonal viram menos infinito: nenhuma posição vê o futuro
- head
- uma de H atenções mais estreitas rodando lado a lado, cada uma com seu próprio padrão
Escreva causal_attention(X, Wq, Wk, Wv) como a lição 4 mas mascarada. Depois leaks(f): retorne True se mudar a última linha de um X aleatório mudar qualquer linha anterior da saída de f. Aqui f é qualquer função de atenção chamada como a sua, f(X, Wq, Wk, Wv), retornando (output, weights); crie X aleatório e pesos dentro de leaks.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.