Conteúdo do curso Lição 147 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Muitas cabeças, mesmo custo

Por que isso importa Um padrão de atenção por camada é limitante: uma posição pode querer olhar para o caractere anterior e, ao mesmo tempo, para o início da palavra. Multi-head attention executa várias atenções menores lado a lado.

Veja isso

Reproduza a animação. Divida as d colunas de Q, K e V em H grupos de d / H. Cada grupo (a head) faz sua própria atenção com seu próprio padrão. Cole as H saídas de volta lado a lado em d colunas, depois misture-as com mais uma matriz Wo.

O custo: as mesmas matrizes como uma cabeça grande, apenas cortadas em pedaços, então a contagem de parâmetros não muda. Cada cabeça é mais estreita, então ela divide pela raiz quadrada de d / H.

Palavras e símbolos nesta lição
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
head
ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Sua vez

Escreva multi_head(X, Wq, Wk, Wv, Wo, H) (sem máscara), retornando a saída e uma lista de matrizes de atenção H.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.