A atenção não tem senso de ordem
Por que isso importa "Cão morde homem" e "homem morde cão" usam as mesmas palavras. Self-attention, por si só, não consegue diferenciá-las. Ver o porquê explica o ingrediente extra que cada transformer adiciona.
Embaralhe as linhas de X e as linhas de saída do self-attention são embaralhadas da mesma forma, nada mais muda. O resultado de cada posição depende de quais vetores estão presentes, não de onde eles estão. (Com a causal mask isso não é totalmente verdade: a posição i vê exatamente i + 1 tokens, então um modelo pode aprender a contá-los, e modelos causais sem vetores de posição aprendem a ordem dessa forma. Mas é lento e não confiável; vetores de posição explícitos tornam a ordem fácil.)
Então transformers adicionam um vetor de posição ao embedding de cada token antes da primeira camada. O GPT registrado aprendeu um vetor por posição, 32 deles. O que acontece com as previsões dele se nós os apagarmos?
Palavras e símbolos nesta lição
- atenção
- softmax das pontuações query-key, usada para tirar a média dos valores
- self-attention
- cada posição atende às posições do mesmo texto
- causal mask
- scores acima da diagonal definidos como menos infinito: nenhuma posição vê o futuro
- vetor de posição
- adicionado a cada token para que a atenção possa identificar a ordem
Escreva shuffle_check(f): Verdadeiro se permutar as linhas de um X aleatório permuta as linhas de saída de f da mesma forma. Aqui f(X, Wq, Wk, Wv) retorna apenas a saída, como attn abaixo; crie X aleatório e pesos dentro de shuffle_check. Depois preencha with_pos e without_pos: a perda retida do modelo registrado (model.eval_loss(held, n=32)) como está e com model.P["pos"].data definido como zeros (coloque de volta depois).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.