पाठ्यक्रम 246 में से पाठ 127 · Module 11: memory वाले networks (RNNs)
Module 11: memory वाले networks (RNNs)

Backprop through time सामान्य backprop है

यह क्यों मायने रखता है "Backpropagation through time" एक नए algorithm जैसा लगता है। यह नहीं है: loop खोलें और यह एक गहरे network पर backprop है जिसकी layers weights का एक set साझा करती हैं।

इसे देखें

animation चलाएँ। एक RNN के तीन steps, साथ-साथ बनाए, तीन layers हैं। हर एक में वही weight w दिखता है। पीछे की ओर, w का gradient हर copy से एक योगदान इकट्ठा करता है, ठीक आपके Module 4 engine में कई बार इस्तेमाल एक node की तरह।

छोटी संख्याएँ

एक-संख्या linear RNN: h_t = w h_(t-1) + x_t, h_0 = 0 पर शुरू, loss = h_3 के साथ। Inputs 1, 2, 3 और w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25। dL/dh3 = 1। पीछे जाते हुए, dL/dh2 = w = 0.5 और dL/dh1 = w का वर्ग = 0.25। w की हर copy योगदान देती है (उसके output पर gradient) गुणा (वह h जिससे उसने गुणा किया): 1 गुणा h2 + 0.5 गुणा h1 + 0.25 गुणा h0 = 2.5 + 0.5 + 0 = 3.0।

BPTT: backpropagation through time; steps खोलें और backpropagate करें, एक weight साझा करने वाले हर step का gradient जोड़ते हुए।

इस पाठ के शब्द और चिह्न
recurrent network (RNN)
एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
backprop through time (BPTT)
steps खोलें और backpropagate करें, एक weight साझा करने वाले हर step का gradient जोड़ते हुए
आपकी बारी

h_0 = 0 और loss h_T (आख़िरी state) वाले एक-संख्या RNN h_t = w * h_(t-1) + x_t के लिए, steps से पीछे चलकर dL/dw लौटाने वाला bptt(xs, w) लिखें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।