أخذ عينات النص مع temperature
لماذا هذا مهم لكل chatbot إعداد "temperature". إنه قسم واحد، وهو يستبدل النص الآمن والمتكرر بنص متنوع وأكثر مخاطرة.
لاختيار الحرف التالي، يقوم النموذج بتحويل درجاته إلى احتمالات باستخدام softmax. تقسيم الدرجات على temperature T يغير أولا مدى حدة ذلك التوزيع: T أقل من 1 يجعله أكثر حدة (يفوز المفضل بشكل متكرر أكثر)، T أكبر من 1 يجعله أكثر تسطحا (تصبح المفاجآت محتملة).
يقيس entropy، وهو طرح مجموع p log p، مدى تشتت التوزيع: 0 عندما يكون خيار واحد مؤكداً، و ln(n) عندما تكون جميع n متساوية الاحتمال.
ستقوم بقياسه على نموذج مسجل حقيقي: نموذج GPT الصغير الخاص بالدورة والمدرب على نص دروسه الخاص.
الكلمات والرموز في هذا الدرس
- temperature
- اقسم الدرجات قبل softmax: الأقل من 1 أكثر حدة، والأعلى من 1 أكثر تسطحا
- entropy
- مدى تشتت التوزيع: 0 عندما يكون مؤكداً، و ln(n) عندما تكون جميع الخيارات n متساوية
اضبط my_order على درجات الحرارة 0.5 و1.0 و2.0 مرتبةً من أدنى إنتروبيا إلى أعلاها (تنبؤك). ثم اكتب entropy_at(scores, T) لصف واحد من الدرجات، واملأ measured بمتوسط إنتروبيا توزيع الحرف التالي للنموذج على السياقات المعطاة، لكل درجة حرارة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.