पाठ्यक्रम 246 में से पाठ 130 · Module 11: memory वाले networks (RNNs)
Module 11: memory वाले networks (RNNs)

कौन याद रखता है? दर्ज runs

यह क्यों मायने रखता है पाठ्य-पुस्तक कहती है कि LSTMs याद रखते हैं और सादे RNNs भूलते हैं। कोर्स ने इसे परखा, और असली जवाब में एक मोड़ है जो कभी एक train करने से पहले जानने लायक है।

दर्ज प्रयोग rnn-vs-lstm-memory: network चार चिह्नों में से एक देखता है, फिर उसी वर्णमाला से निकाले 5, 15, 30 या 60 और चिह्नों का एक अंतराल, और बताना होता है कि पहला चिह्न क्या था। तीन तरह के network, हर एक तीन seeds:

  • एक सादा tanh RNN;
  • एक LSTM जिसका forget gate bias 1 से शुरू होता है (यह शुरू में हर step cell का लगभग 73% रखता है);
  • एक LSTM जिसका forget gate bias 3 से शुरू होता है (लगभग 95%)।

runs पढ़ने से पहले, अनुमान लगाएँ: 60 के अंतराल पर कौन-सी तरह तीनों seeds पर सफल होती है?

इस पाठ के शब्द और चिह्न
recurrent network (RNN)
एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
LSTM
एक memory cell c और तीन gates वाला एक RNN: forget, input, output
आपकी बारी

my_prediction को "rnn", "lstm-forget-bias-1" या "lstm-forget-bias-3" पर सेट करें। फिर nnsim.recorded इस्तेमाल करते हुए successes भरें: (cell, gap) से उन तीन seeds में से कितने कम से कम 95% test accuracy तक पहुँचे।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।