Programma Les 130 van 246 · Module 11: Netwerken met geheugen (RNNs)
Module 11: Netwerken met geheugen (RNNs)

Wie herinnert zich dit? De opgenomen runs

Waarom dit ertoe doet Het tekstboek zegt dat LSTMs onthouden en gewone RNNs vergeten. De cursus testte dat, en het echte antwoord heeft een wending die je moet weten voordat je er een traint.

Het opgenomen experiment rnn-vs-lstm-memory: het netwerk ziet een van vier symbolen, dan een pauze van 5, 15, 30 of 60 extra symbolen uit hetzelfde alfabet, en moet zeggen wat het eerste symbool was. Drie soorten netwerk, drie seeds elk:

  • een simpele tanh RNN;
  • an LSTM waarvan de forget gate begint met bias 1 (het behoudt eerst ongeveer 73% van de cel per stap);
  • an LSTM waarvan de forget gate begint met bias 3 (ongeveer 95%).

Voordat je de runs leest, voorspel je: welke slaagt bij alle drie de seeds bij een gap van 60?

Woorden en symbolen in deze les
recurrent network (RNN)
een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
LSTM
an RNN met een memory cell c en drie gates: forget, input, output
Jij bent aan de beurt

my_prediction naar "rnn", "lstm-forget-bias-1" of "lstm-forget-bias-3". Vul daarna successes: (cell, gap) in met hoeveel van de drie seeds ten minste 95% test accuracy bereikten, gebruikmakend van nnsim.recorded.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.