A atenção corrige o gargalo
Por que isso importa Attention foi inventado em 2014 para resolver exatamente o problema que você mediu no Módulo 11: um encoder espremendo uma frase inteira em um único vetor.
No experimento seq2seq-bottleneck gravado, o decoder do modelo de atenção, em cada step, atende a todos os hidden states do encoder (sua query é o próprio estado do decoder). Ele não depende mais de um vetor final; ele pode olhar diretamente para o dígito que precisa.
Predict: no comprimento 16, onde o modelo simples acertou cerca de 59% dos dígitos, quanto o modelo de atenção acerta?
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
Defina my_guess como um número entre 0 e 1: seu palpite para a acurácia do dígito do modelo de atenção no comprimento 16. Preencha acc: (model, length) com a acurácia média do dígito das duas sementes, para ambos os modelos e todos os quatro comprimentos, e gain_at_16.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.