Wie herinnert zich dit? De opgenomen runs
Waarom dit ertoe doet Het tekstboek zegt dat LSTMs onthouden en gewone RNNs vergeten. De cursus testte dat, en het echte antwoord heeft een wending die je moet weten voordat je er een traint.
Het opgenomen experiment rnn-vs-lstm-memory: het netwerk ziet een van vier symbolen, dan een pauze van 5, 15, 30 of 60 extra symbolen uit hetzelfde alfabet, en moet zeggen wat het eerste symbool was. Drie soorten netwerk, drie seeds elk:
- een simpele tanh RNN;
- an LSTM waarvan de forget gate begint met bias 1 (het behoudt eerst ongeveer 73% van de cel per stap);
- an LSTM waarvan de forget gate begint met bias 3 (ongeveer 95%).
Voordat je de runs leest, voorspel je: welke slaagt bij alle drie de seeds bij een gap van 60?
Woorden en symbolen in deze les
- recurrent network (RNN)
- een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
- LSTM
- an RNN met een memory cell c en drie gates: forget, input, output
my_prediction naar "rnn", "lstm-forget-bias-1" of "lstm-forget-bias-3". Vul daarna successes: (cell, gap) in met hoeveel van de drie seeds ten minste 95% test accuracy bereikten, gebruikmakend van nnsim.recorded.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.