المنهج الدراسي الدرس 126 من 246 · الوحدة 11: الشبكات ذات الذاكرة (RNNs)
الوحدة 11: الشبكات ذات الذاكرة (RNNs)

شبكة عصبية متكررة (RNN) للشخصيات

لماذا هذا مهم التنبؤ بالحرف التالي بناء على الحروف السابقة هو نموذج اللغة الأصلي. الفكرة نفسها، عند توسيع نطاقها، هي روبوت محادثة.

قم بتغذية نص درس الدورة حرفا بحرف. في كل خطوة، يقوم RNN بتحديث حالته ويتنبأ بالحرف التالي باستخدام linear layer و softmax. الخسارة هي متوسط cross-entropy عبر الـ 16 position لكل training snippet.

يدخل كل حرف كـ embedding: وهو صف متعلم من الأرقام يتم البحث عنه بواسطة فهرس الحرف (يشرح Module 12 هذه العملية بشكل صحيح؛ حاليا، هو جدول بحث تدربه الشبكة).

استدعِ المنحنى مع chart: خمن الخسارة عند الخطوة 0 وبعد 200 خطوة. التخمين المنتظم عبر جميع الحروف في النص يعطي حوالي ln(V).

الكلمات والرموز في هذا الدرس
شبكة عصبية متكررة (RNN)
شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
entropy
مدى تشتت التوزيع: 0 عندما يكون مؤكداً، و ln(n) عندما تكون جميع الخيارات n متساوية
دورك

املأ my_guess. ثم اكتب step_state(x_ids, h, P) بمحرك الدورة: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). حلقة التدريب حوله مكتوبة لك. بعد 200 خطوة يجب أن يكون متوسط الخسارة على آخر 20 خطوة أقل من 2.6.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.