Programma Lezione 130 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

Chi ricorda? Le esecuzioni registrate

Perché è importante Il manuale dice che le LSTM ricordano e le RNN semplici dimenticano. Il corso l'ha messo alla prova, e la vera risposta ha una svolta che vale la pena conoscere prima di addestrarne una.

L'esperimento registrato rnn-vs-lstm-memory: la rete vede uno di quattro simboli, poi un intervallo di 5, 15, 30 o 60 altri simboli presi dallo stesso alfabeto, e deve dire qual era il primo simbolo. Tre tipi di rete, tre semi ciascuno:

  • una RNN tanh semplice;
  • una LSTM il cui forget gate parte con bias 1 (all'inizio tiene circa il 73% della cella per passo);
  • una LSTM il cui forget gate parte con bias 3 (circa il 95%).

Prima di leggere le esecuzioni, prevedi: quale tipo riesce con tutti e tre i semi a un intervallo di 60?

Parole e simboli di questa lezione
rete ricorrente (RNN)
una rete che legge un passo alla volta e porta avanti uno stato nascosto
LSTM
una RNN con una cella di memoria c e tre gate: forget, input, output
Tocca a te

Imposta my_prediction su "rnn", "lstm-forget-bias-1" o "lstm-forget-bias-3". Poi riempi successes: da (cell, gap) a quanti dei tre semi hanno raggiunto almeno il 95% di accuratezza di test, usando nnsim.recorded.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.