Wie onthou? Die opgeneemde runs
Waarom dit saak maak Die handboek sê LSTMs onthou en gewone RNNs vergeet. Die kursus het dit getoets, en die regte antwoord het 'n draai wat jy moet ken voordat jy een aanbied.
Die opgetekende eksperiment rnn-vs-lstm-memory: die netwerk sien een van vier simbole, dan 'n gaping van 5, 15, 30 of 60 meer simbole uit dieselfde alfabet, en moet sê wat die eerste simbool was. Drie soorte netwerke, drie seeds elk:
- 'n eenvoudige tanh RNN;
- an LSTM waarvan die forget gate met bias 1 begin (dit hou ongeveer 73% van die sel per stap aan in die begin);
- an LSTM waarvan die forget gate met 'n bias van 3 begin (ongeveer 95%).
Voordat jy die runs lees, voorspel: watter een slaag op al drie seeds met 'n gaping van 60?
Woorde en simbole in hierdie les
- herhalende netwerk (RNN)
- a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
- LSTM
- an RNN met 'n geheiselcel c en drie gate: forget, input, output
Stel my_prediction op "rnn", "lstm-forget-bias-1" of "lstm-forget-bias-3". Vul dan successes in: (cell, gap) na hoeveel van die drie sade minstens 95% toetsakkuraatheid bereik het, met nnsim.recorded.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.