पाठ्यक्रम 246 में से पाठ 125 · Module 11: memory वाले networks (RNNs)
Module 11: memory वाले networks (RNNs)

क्रम और state

यह क्यों मायने रखता है टेक्स्ट, बोली, क़ीमतें और sensor readings एक बार में एक step आती हैं, और जो पहले आया वह बदलता है कि आगे क्या आता है। एक recurrent network एक चलता सार आगे ले जाता है।

एक recurrent neural network (RNN) एक hidden state h रखता है, एक छोटा vector। हर step पर यह नए input को पुरानी state से मिलाता है और नतीजे को दबाता है:

h = tanh(x_t @ Wx + h @ Wh + b)

हर step पर वही weights इस्तेमाल होते हैं, ठीक जैसे एक CNN हर स्थान पर अपना filter दोबारा इस्तेमाल करता है। अंतिम h network के पढ़े हर चीज़ पर निर्भर है, इसलिए यह पूरे क्रम की एक (नुक़सान वाली) memory है।

छोटी संख्याएँ

एक input संख्या, एक छिपी संख्या, Wx = 1, Wh = 0.5, b = 0, h 0 पर शुरू होता है। 1 फिर 0 पढ़ते हुए: h = tanh(1) = 0.76, फिर h = tanh(0 + 0.38) = 0.36। पहला input दूसरे step के बाद भी state में दिखता है, फीका होता।

Hidden state: वह vector जो एक RNN step से step ले जाता है। Recurrent: अपना output input के रूप में वापस खिलाना।

इस पाठ के शब्द और चिह्न
recurrent network (RNN)
एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
आपकी बारी

rnn_forward(xs, Wx, Wh, b) लिखें: xs का आकार (steps, input size) है; एक शून्य state से शुरू करें और हर step के बाद की hidden states की सूची लौटाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।