Conteúdo do curso Lição 132 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Um lê, um escreve: o gargalo

Por que isso importa A tradução costumava funcionar assim: uma RNN lê a frase em um único vetor, outra escreve a saída a partir dele. Aquele único vetor é um gargalo, e ver isso falhar é o motivo pelo qual a atenção foi inventada.

An encoder-decoder: a RNN do encoder lê a entrada; seu estado oculto final é passado para a RNN do decoder, que escreve a saída um símbolo por vez, alimentando cada resposta de volta. Tudo o que o decoder sabe sobre a entrada deve passar por aquele único vetor de 48 números.

O experimento registrado seq2seq-bottleneck treinou tais redes para escrever uma sequência de dígitos de trás para frente, para comprimentos 4, 8, 12 e 16, duas sementes cada. Ele também treinou uma versão com attention, que você encontrará no Módulo 13. Por enquanto, olhe apenas para as simples.

Chame a Curva: preveja a acurácia do dígito do modelo simples no comprimento 16. A chance é de 10%.

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
a rede que lê um passo de cada vez e carrega um estado oculto para frente
encoder-decoder
one RNN lê a entrada em um vetor, outra escreve a saída a partir dela
bottleneck
o único vetor por onde tudo deve passar
Sua vez

Defina my_guess_16, depois preencha plain_acc: length até a acurácia do dígito médio das duas execuções simples.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.