पाठ्यक्रम 246 में से पाठ 126 · Module 11: memory वाले networks (RNNs)
Module 11: memory वाले networks (RNNs)

एक अक्षर RNN

यह क्यों मायने रखता है पहले के अक्षरों से अगले अक्षर का अनुमान लगाना मूल language model है। वही विचार, बड़ा करके, एक chatbot है।

कोर्स का अपना पाठ टेक्स्ट एक बार में एक अक्षर खिलाएँ। हर step पर RNN अपनी state अद्यतन करता है और एक linear layer और softmax से अगले अक्षर का अनुमान लगाता है। Loss हर training टुकड़े के 16 स्थानों पर औसत cross-entropy है।

हर अक्षर एक embedding के रूप में अंदर जाता है: अक्षर के index से खोजी संख्याओं की एक सीखी row (Module 12 उन्हें ठीक से समझाता है; अभी के लिए, एक lookup table जिसे network train करता है)।

chart के साथ वक्र का अनुमान लगाएँ: step 0 पर और 200 steps के बाद loss का अनुमान लगाएँ। टेक्स्ट के सारे अक्षरों पर एक समान अनुमान लगभग ln(V) देता है।

इस पाठ के शब्द और चिह्न
recurrent network (RNN)
एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
entropy
एक वितरण कितना फैला है: पक्का होने पर 0, जब सारे n चुनाव बराबर हों तो ln(n)
आपकी बारी

my_guess भरें। फिर घर के engine से step_state(x_ids, h, P) लिखें: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"])। इसके चारों ओर का training loop आपके लिए लिखा है। 200 steps के बाद आख़िरी 20 steps पर औसत loss 2.6 से नीचे होना चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।