Chi ricorda? Le esecuzioni registrate
Perché è importante Il manuale dice che le LSTM ricordano e le RNN semplici dimenticano. Il corso l'ha messo alla prova, e la vera risposta ha una svolta che vale la pena conoscere prima di addestrarne una.
L'esperimento registrato rnn-vs-lstm-memory: la rete vede uno di quattro simboli, poi un intervallo di 5, 15, 30 o 60 altri simboli presi dallo stesso alfabeto, e deve dire qual era il primo simbolo. Tre tipi di rete, tre semi ciascuno:
- una RNN tanh semplice;
- una LSTM il cui forget gate parte con bias 1 (all'inizio tiene circa il 73% della cella per passo);
- una LSTM il cui forget gate parte con bias 3 (circa il 95%).
Prima di leggere le esecuzioni, prevedi: quale tipo riesce con tutti e tre i semi a un intervallo di 60?
Parole e simboli di questa lezione
- rete ricorrente (RNN)
- una rete che legge un passo alla volta e porta avanti uno stato nascosto
- LSTM
- una RNN con una cella di memoria c e tre gate: forget, input, output
Imposta my_prediction su "rnn", "lstm-forget-bias-1" o "lstm-forget-bias-3". Poi riempi successes: da (cell, gap) a quanti dei tre semi hanno raggiunto almeno il 95% di accuratezza di test, usando nnsim.recorded.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.