Conteúdo do curso Lição 144 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Auto-atenção: cada posição pergunta a todas as outras

Por que isso importa Em um transformer não existe um encoder separado para olhar para trás. Cada posição do texto presta atenção às outras, então o vetor de cada caractere é atualizado com informações do resto da frase.

Comece com X, uma linha por posição (t linhas, d colunas). Três matrizes aprendidas criam a query, key e value de cada posição de uma vez:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

Esta é a busca suave da lição 1, feita para todas as consultas t de uma vez com duas multiplicações de matriz, por isso ela roda tão bem em rotinas de matemática rápida.

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
self-attention
cada posição atende às posições do mesmo texto
Sua vez

Escreva self_attention(X, Wq, Wk, Wv) retornando (out, A).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.