Quem lembra? As execuções gravadas
Por que isso importa O livro diz que LSTMs lembram e RNNs comuns esquecem. O curso testou isso, e a resposta real tem uma reviravolta que vale saber antes de você treinar qualquer uma.
O experimento registrado rnn-vs-lstm-memory: a rede vê um de quatro símbolos, depois um intervalo de 5, 15, 30 ou 60 símbolos adicionais tirados do mesmo alfabeto, e deve dizer qual foi o primeiro símbolo. Três tipos de rede, três seeds cada:
- uma RNN tanh simples;
- Uma LSTM cujo forget gate começa com bias 1 (ela mantém cerca de 73% da célula por step no início);
- Uma LSTM cujo forget gate começa com bias 3 (cerca de 95%).
Antes de ler as execuções, preveja: qual delas funciona em todas as três sementes com um intervalo de 60?
Palavras e símbolos nesta lição
- rede neural recorrente (RNN)
- a rede que lê um passo de cada vez e carrega um estado oculto para frente
- LSTM
- Uma RNN com uma célula de memória c e três gates: forget, input, output
Defina my_prediction como "rnn", "lstm-forget-bias-1" ou "lstm-forget-bias-3". Depois preencha successes: (cell, gap) com quantos das três sementes atingiram pelo menos 95% de acurácia no teste, usando nnsim.recorded.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.