Auto-atenção: cada posição pergunta a todas as outras
Por que isso importa Em um transformer não existe um encoder separado para olhar para trás. Cada posição do texto presta atenção às outras, então o vetor de cada caractere é atualizado com informações do resto da frase.
Comece com X, uma linha por posição (t linhas, d colunas). Três matrizes aprendidas criam a query, key e value de cada posição de uma vez:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Esta é a busca suave da lição 1, feita para todas as consultas t de uma vez com duas multiplicações de matriz, por isso ela roda tão bem em rotinas de matemática rápida.
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
- self-attention
- cada posição atende às posições do mesmo texto
Escreva self_attention(X, Wq, Wk, Wv) retornando (out, A).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.