Um lê, um escreve: o gargalo
Por que isso importa A tradução costumava funcionar assim: uma RNN lê a frase em um único vetor, outra escreve a saída a partir dele. Aquele único vetor é um gargalo, e ver isso falhar é o motivo pelo qual a atenção foi inventada.
An encoder-decoder: a RNN do encoder lê a entrada; seu estado oculto final é passado para a RNN do decoder, que escreve a saída um símbolo por vez, alimentando cada resposta de volta. Tudo o que o decoder sabe sobre a entrada deve passar por aquele único vetor de 48 números.
O experimento registrado seq2seq-bottleneck treinou tais redes para escrever uma sequência de dígitos de trás para frente, para comprimentos 4, 8, 12 e 16, duas sementes cada. Ele também treinou uma versão com attention, que você encontrará no Módulo 13. Por enquanto, olhe apenas para as simples.
Chame a Curva: preveja a acurácia do dígito do modelo simples no comprimento 16. A chance é de 10%.
Palavras e símbolos nesta lição
- rede neural recorrente (RNN)
- a rede que lê um passo de cada vez e carrega um estado oculto para frente
- encoder-decoder
- one RNN lê a entrada em um vetor, outra escreve a saída a partir dela
- bottleneck
- o único vetor por onde tudo deve passar
Defina my_guess_16, depois preencha plain_acc: length até a acurácia do dígito médio das duas execuções simples.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.