Muitas cabeças, mesmo custo
Por que isso importa Um padrão de atenção por camada é limitante: uma posição pode querer olhar para o caractere anterior e, ao mesmo tempo, para o início da palavra. Multi-head attention executa várias atenções menores lado a lado.
Veja isso
Reproduza a animação. Divida as d colunas de Q, K e V em H grupos de d / H. Cada grupo (a head) faz sua própria atenção com seu próprio padrão. Cole as H saídas de volta lado a lado em d colunas, depois misture-as com mais uma matriz Wo.
O custo: as mesmas matrizes como uma cabeça grande, apenas cortadas em pedaços, então a contagem de parâmetros não muda. Cada cabeça é mais estreita, então ela divide pela raiz quadrada de d / H.
Palavras e símbolos nesta lição
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
- head
- ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Escreva multi_head(X, Wq, Wk, Wv, Wo, H) (sem máscara), retornando a saída e uma lista de matrizes de atenção H.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.