एक पढ़ता है, एक लिखता है: bottleneck
यह क्यों मायने रखता है अनुवाद पहले ऐसे काम करता था: एक RNN वाक्य को एक अकेले vector में पढ़ता है, दूसरा उससे output लिखता है। वह एक vector एक bottleneck है, और उसे विफल होते देखना attention के ईजाद होने का कारण है।
एक encoder-decoder: encoder RNN input पढ़ता है; उसकी अंतिम hidden state decoder RNN को दी जाती है, जो output एक बार में एक चिह्न लिखता है, हर जवाब वापस खिलाते हुए। decoder input के बारे में जो कुछ जानता है उसे 48 संख्याओं के उस एक vector से गुज़रना होता है।
दर्ज प्रयोग seq2seq-bottleneck ने ऐसे networks को अंकों का एक क्रम उल्टा लिखने के लिए train किया, लंबाइयों 4, 8, 12 और 16 के लिए, हर एक दो seeds। इसने attention वाला एक वर्ज़न भी train किया, जिससे आप Module 13 में मिलेंगे। अभी के लिए, बस सादे वालों को देखें।
वक्र का अनुमान: लंबाई 16 पर सादे model की अंक accuracy का अनुमान लगाएँ। संयोग 10% है।
इस पाठ के शब्द और चिह्न
- recurrent network (RNN)
- एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
- encoder-decoder
- एक RNN input को एक vector में पढ़ता है, दूसरा उससे output लिखता है
- bottleneck
- वह अकेला vector जिससे सब कुछ गुज़रना होता है
my_guess_16 सेट करें, फिर plain_acc भरें: लंबाई से दोनों सादे runs की औसत अंक accuracy तक।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।