المنهج الدراسي الدرس 238 من 250 · المشروع: تقييم الأوامر البرمجية CI
المشروع: تقييم الأوامر البرمجية CI

بوابة الانحدار

هذه هي الخاتمة، والسطر الذي ستضعه في سيرتك الذاتية: بناء harness لتقييم الـ prompt + بوابة regression.لديك scorers (الدرس 1) و judge parser (الدرس 2). الآن تقوم بتوصيل الجزء الذي يجعلها CI: بوابة تعمل عند كل تغيير في الـ prompt و تمنع الـ merge إذا انخفضت الجودة. هذا هو ما يمنع "تعديل بسيط" من زميلك من إضعاف الدقة في الإنتاج بشكل خفي -> المراجع الآلي الذي لا يتعب أبدا.

النموذج: لديك مجموعة ذهبية، وإصداران من prompt ينتج كل منهما قائمة من التوقعات على تلك المجموعة. الدقة هنا هي ببساطة كسر التوقعات التي تطابق الإجابة الذهبية تماما (stripped). أولا، قارن بين الاثنين:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}، حيث تمثل كل دقة معدل المطابقة التامة مقابل golds، وdelta هو مقدار تحرك v2 بالنسبة إلى v1. تعني قيمة delta موجبة أن المرشح تحسن؛ والقيمة السالبة تعني أنه تراجع.

ثم البوابة نفسها. في CI لا تقوم بالحظر بسبب الضجيج -> تسمح عتبة min_delta للمرشح بالانخفاض بمقدار ضئيل مقبول (غالباً 0.0، مما يعني "يجب ألا يسوء") قبل رفضه:

  • gate(baseline, candidate, min_delta) -> كل من baseline و candidate هما زوج من (preds, golds). قم بتقييم كليهما كدقة تطابق تام، واحسب delta = candidate_acc - baseline_acc، وأرجع {"pass": bool, "delta": delta, "report": str}. البوابة passes عندما delta >= min_delta و fails خلاف ذلك.

إن report هو سطر واحد يمكن للبشر قراءته ويراه المطور في سجل CI. اجعله يوضح النتيجة والأرقام، على سبيل المثال "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" أو متغير من FAIL: .... تتحقق الاختبارات من أن التقرير يبدأ بـ PASS أو FAIL متوافقا مع القيمة المنطقية ويذكر كلا الدقتين، لذا الصياغة الدقيقة لك ولكن يجب أن تتضمن الحقائق.

عملياً: خط أساس عند 0.8 ومرشّح عند 0.6 مع min_delta=0.0 -> delta -0.2، فـ تفشل البوابة، ويُحجب الدمج. بدّلهما فيتحسّن المرشّح -> تنجح البوابة. هذه القيمة المنطقية الواحدة هي ما تربطه بـ CI لتحويل "يبدو أن الموجّه أفضل" إلى "الموجّه ليس أسوأ بشكل مثبت، وإلا فالبناء أحمر." اضغط Run لتمرير تحسين عبر البوابة وحجب تراجع.

دورك

قم ببناء بوابة تراجع الـ CI. اكتب compare(v1_preds, v2_preds, golds) الذي يعيد {"v1", "v2", "delta"} حيث كل قيمة هي دقة المطابقة التامة (كسر التوقعات المساوية للـ gold المنزوعة) و delta = v2 - v1. اكتب gate(baseline, candidate, min_delta) الذي يأخذ زوجين من (preds, golds) ويعيد {"pass": bool, "delta": float, "report": str}، وينجح فقط إذا كان delta >= min_delta. يجب أن يبدأ التقرير بـ PASS/FAIL (مطابقاً للـ boolean) ويذكر كِلا الدقتين، كل واحدة مكتوبة بثلاثة أرقام عشرية ("%.3f"، لذا يظهر 0.5 كـ 0.500). يجب أن يفشل التراجع في البوابة؛ ويجب أن ينجح التحسن.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.