Conteúdo do curso Lição 148 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

A atenção não tem senso de ordem

Por que isso importa "Cão morde homem" e "homem morde cão" usam as mesmas palavras. Self-attention, por si só, não consegue diferenciá-las. Ver o porquê explica o ingrediente extra que cada transformer adiciona.

Embaralhe as linhas de X e as linhas de saída do self-attention são embaralhadas da mesma forma, nada mais muda. O resultado de cada posição depende de quais vetores estão presentes, não de onde eles estão. (Com a causal mask isso não é totalmente verdade: a posição i vê exatamente i + 1 tokens, então um modelo pode aprender a contá-los, e modelos causais sem vetores de posição aprendem a ordem dessa forma. Mas é lento e não confiável; vetores de posição explícitos tornam a ordem fácil.)

Então transformers adicionam um vetor de posição ao embedding de cada token antes da primeira camada. O GPT registrado aprendeu um vetor por posição, 32 deles. O que acontece com as previsões dele se nós os apagarmos?

Palavras e símbolos nesta lição
atenção
softmax das pontuações query-key, usada para tirar a média dos valores
self-attention
cada posição atende às posições do mesmo texto
causal mask
scores acima da diagonal definidos como menos infinito: nenhuma posição vê o futuro
vetor de posição
adicionado a cada token para que a atenção possa identificar a ordem
Sua vez

Escreva shuffle_check(f): Verdadeiro se permutar as linhas de um X aleatório permuta as linhas de saída de f da mesma forma. Aqui f(X, Wq, Wk, Wv) retorna apenas a saída, como attn abaixo; crie X aleatório e pesos dentro de shuffle_check. Depois preencha with_pos e without_pos: a perda retida do modelo registrado (model.eval_loss(held, n=32)) como está e com model.P["pos"].data definido como zeros (coloque de volta depois).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.