تقييم الأوامر (الدقة على مجموعة ذهبية)
"The new prompt feels better" ليست إجابة. لكي تعرف، عليك الاحتفاظ بـ gold set: المدخلات المقترنة بالمخرجات الصحيحة التي تثق بها. تقوم بتشغيل prompt على المدخلات، وتقارن كل prediction بإجابة gold الخاصة بها، وتذكر رقماً. هذا الرقم هو كيف تقارن prompt v1 بـ v2 دون خداع نفسك.
ستقوم ببناء scorer. score_prediction(pred, gold) تعيد 1.0 في حالة التطابق و 0.0 خلاف ذلك، مع مقارنة دون مراعاة حالة الأحرف وتجاهل المسافات البيضاء المحيطة ، لأن "Yes" و "yes" و " yes " كلها نفس الإجابة في الواقع.
evaluate(predictions, golds) في القائمتين معاً، وتحسب درجات كل زوج، وتعيد ملخصاً:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}قم بتقريب accuracy إلى 4 خانات. اجعل empty set آمنا: تعيد zero golds قيمة {"accuracy": 0.0, "correct": 0, "total": 0} بدلا من القسمة على صفر، لأن مجموعات eval يتم تصفيتها ولا تريد أن يتوقف harness عن العمل عند وجود slice فارغ.
يقوم أحد الاختبارات المخفية بتشغيل evaluate الخاص بك على 50 مجموعة من التوقعات/الذهب المولدة عشوائيا ويقارنه بمرجع محسوب في الاختبار. جدول البحث للحالات المرئية لن يصمد أمام ذلك، وهذا هو الهدف: أنت تبني مقيما حقيقيا، ولست تحفظ الإجابات. اضغط على Run للتصحيح.
اكتب score_prediction(pred, gold) ليعيد 1.0 إذا تطابقت الكلمتان مع تجاهل حالة الأحرف والمسافات المحيطة، وإلا يعيد 0.0. اكتب evaluate(predictions, golds) ليعيد {"accuracy", "correct", "total"} فوق القائمتين، مع تقريب الدقة إلى 4 خانات وإرجاع مجموعة فارغة تعيد جميع الأصفار (بدون توقف البرنامج).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.