Kurrikulum Leson 130 van 246 · Module 11: Netwerke met geheue (RNNs)
Module 11: Netwerke met geheue (RNNs)

Wie onthou? Die opgeneemde runs

Waarom dit saak maak Die handboek sê LSTMs onthou en gewone RNNs vergeet. Die kursus het dit getoets, en die regte antwoord het 'n draai wat jy moet ken voordat jy een aanbied.

Die opgetekende eksperiment rnn-vs-lstm-memory: die netwerk sien een van vier simbole, dan 'n gaping van 5, 15, 30 of 60 meer simbole uit dieselfde alfabet, en moet sê wat die eerste simbool was. Drie soorte netwerke, drie seeds elk:

  • 'n eenvoudige tanh RNN;
  • an LSTM waarvan die forget gate met bias 1 begin (dit hou ongeveer 73% van die sel per stap aan in die begin);
  • an LSTM waarvan die forget gate met 'n bias van 3 begin (ongeveer 95%).

Voordat jy die runs lees, voorspel: watter een slaag op al drie seeds met 'n gaping van 60?

Woorde en simbole in hierdie les
herhalende netwerk (RNN)
a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
LSTM
an RNN met 'n geheiselcel c en drie gate: forget, input, output
Jou beurt

Stel my_prediction op "rnn", "lstm-forget-bias-1" of "lstm-forget-bias-3". Vul dan successes in: (cell, gap) na hoeveel van die drie sade minstens 95% toetsakkuraatheid bereik het, met nnsim.recorded.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.