Conteúdo do curso Lição 143 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

A atenção corrige o gargalo

Por que isso importa Attention foi inventado em 2014 para resolver exatamente o problema que você mediu no Módulo 11: um encoder espremendo uma frase inteira em um único vetor.

No experimento seq2seq-bottleneck gravado, o decoder do modelo de atenção, em cada step, atende a todos os hidden states do encoder (sua query é o próprio estado do decoder). Ele não depende mais de um vetor final; ele pode olhar diretamente para o dígito que precisa.

Predict: no comprimento 16, onde o modelo simples acertou cerca de 59% dos dígitos, quanto o modelo de atenção acerta?

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
Sua vez

Defina my_guess como um número entre 0 e 1: seu palpite para a acurácia do dígito do modelo de atenção no comprimento 16. Preencha acc: (model, length) com a acurácia média do dígito das duas sementes, para ambos os modelos e todos os quatro comprimentos, e gain_at_16.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.