المنهج الدراسي الدرس 131 من 246 · الوحدة 11: الشبكات ذات الذاكرة (RNNs)
الوحدة 11: الشبكات ذات الذاكرة (RNNs)

أخذ عينات النص مع temperature

لماذا هذا مهم لكل chatbot إعداد "temperature". إنه قسم واحد، وهو يستبدل النص الآمن والمتكرر بنص متنوع وأكثر مخاطرة.

لاختيار الحرف التالي، يقوم النموذج بتحويل درجاته إلى احتمالات باستخدام softmax. تقسيم الدرجات على temperature T يغير أولا مدى حدة ذلك التوزيع: T أقل من 1 يجعله أكثر حدة (يفوز المفضل بشكل متكرر أكثر)، T أكبر من 1 يجعله أكثر تسطحا (تصبح المفاجآت محتملة).

يقيس entropy، وهو طرح مجموع p log p، مدى تشتت التوزيع: 0 عندما يكون خيار واحد مؤكداً، و ln(n) عندما تكون جميع n متساوية الاحتمال.

ستقوم بقياسه على نموذج مسجل حقيقي: نموذج GPT الصغير الخاص بالدورة والمدرب على نص دروسه الخاص.

الكلمات والرموز في هذا الدرس
temperature
اقسم الدرجات قبل softmax: الأقل من 1 أكثر حدة، والأعلى من 1 أكثر تسطحا
entropy
مدى تشتت التوزيع: 0 عندما يكون مؤكداً، و ln(n) عندما تكون جميع الخيارات n متساوية
دورك

اضبط my_order على درجات الحرارة 0.5 و1.0 و2.0 مرتبةً من أدنى إنتروبيا إلى أعلاها (تنبؤك). ثم اكتب entropy_at(scores, T) لصف واحد من الدرجات، واملأ measured بمتوسط إنتروبيا توزيع الحرف التالي للنموذج على السياقات المعطاة، لكل درجة حرارة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.