Conteúdo do curso Lição 130 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Quem lembra? As execuções gravadas

Por que isso importa O livro diz que LSTMs lembram e RNNs comuns esquecem. O curso testou isso, e a resposta real tem uma reviravolta que vale saber antes de você treinar qualquer uma.

O experimento registrado rnn-vs-lstm-memory: a rede vê um de quatro símbolos, depois um intervalo de 5, 15, 30 ou 60 símbolos adicionais tirados do mesmo alfabeto, e deve dizer qual foi o primeiro símbolo. Três tipos de rede, três seeds cada:

  • uma RNN tanh simples;
  • Uma LSTM cujo forget gate começa com bias 1 (ela mantém cerca de 73% da célula por step no início);
  • Uma LSTM cujo forget gate começa com bias 3 (cerca de 95%).

Antes de ler as execuções, preveja: qual delas funciona em todas as três sementes com um intervalo de 60?

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
a rede que lê um passo de cada vez e carrega um estado oculto para frente
LSTM
Uma RNN com uma célula de memória c e três gates: forget, input, output
Sua vez

Defina my_prediction como "rnn", "lstm-forget-bias-1" ou "lstm-forget-bias-3". Depois preencha successes: (cell, gap) com quantos das três sementes atingiram pelo menos 95% de acurácia no teste, usando nnsim.recorded.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.