पाठ्यक्रम 246 में से पाठ 132 · Module 11: memory वाले networks (RNNs)
Module 11: memory वाले networks (RNNs)

एक पढ़ता है, एक लिखता है: bottleneck

यह क्यों मायने रखता है अनुवाद पहले ऐसे काम करता था: एक RNN वाक्य को एक अकेले vector में पढ़ता है, दूसरा उससे output लिखता है। वह एक vector एक bottleneck है, और उसे विफल होते देखना attention के ईजाद होने का कारण है।

एक encoder-decoder: encoder RNN input पढ़ता है; उसकी अंतिम hidden state decoder RNN को दी जाती है, जो output एक बार में एक चिह्न लिखता है, हर जवाब वापस खिलाते हुए। decoder input के बारे में जो कुछ जानता है उसे 48 संख्याओं के उस एक vector से गुज़रना होता है।

दर्ज प्रयोग seq2seq-bottleneck ने ऐसे networks को अंकों का एक क्रम उल्टा लिखने के लिए train किया, लंबाइयों 4, 8, 12 और 16 के लिए, हर एक दो seeds। इसने attention वाला एक वर्ज़न भी train किया, जिससे आप Module 13 में मिलेंगे। अभी के लिए, बस सादे वालों को देखें।

वक्र का अनुमान: लंबाई 16 पर सादे model की अंक accuracy का अनुमान लगाएँ। संयोग 10% है।

इस पाठ के शब्द और चिह्न
recurrent network (RNN)
एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
encoder-decoder
एक RNN input को एक vector में पढ़ता है, दूसरा उससे output लिखता है
bottleneck
वह अकेला vector जिससे सब कुछ गुज़रना होता है
आपकी बारी

my_guess_16 सेट करें, फिर plain_acc भरें: लंबाई से दोनों सादे runs की औसत अंक accuracy तक।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।