بوابة تراجع الأوامر
لديك مُقيِّمات (المطابقة التامة، وF1، وحَكَم LLM). القطعة الأخيرة تحوّلها إلى بوابة (gate): قرار نعم/لا يشغّله CI عند كل تغيير في الموجّه حتى لا يستطيع "تعديل صغير" أن يجعل الأمور أسوأ بهدوء. هذا هو الفرق بين قياس الجودة والدفاع عنها.
("Regression" هنا تعني تدهوراً، بمعنى البرمجيات اليومي، وليس تقنية النمذجة من وحدة ML.)
تقارن بين تشغيلين على نفس مجموعة eval: baseline (المطالبة في الإنتاج) و candidate (تغييرك)، كقائمتين من درجات كل مثال في [0, 1]. يمنع البوابة التغيير ما لم يتجاوز ثلاثة معايير:
- لا يوجد انخفاض إجمالي: متوسط درجة المرشح هو على الأقل متوسط الأساس (يتم امتصاص الضجيج بواسطة نسبة سماح ضئيلة).
- عدد إخفاقات جديدة: عدد الأمثلة التي حصل فيها المرشح على نتيجة أسوأ من الخط المرجعي يظل ضمن الميزانية (يجب ألا يخفي فوز كبير عدة تراجعات هادئة).
- A floor: متوسط أدنى مطلق، إذا قمت بتعيينه.
قم ببناء regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) الذي يعيد قاموس تقرير يحتوي على baseline_mean، candidate_mean، delta (المرشح ناقص الأساس)، regressions (عدد المؤشرات حيث candidate[i] < baseline[i] - 1e-9)، و passed (قيمة منطقية، True فقط عندما يتم مسح جميع الأشرطة). القائمتان لهما نفس الطول. اضغط Run لحماية مطالبة مرشحة.
اكتب regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) فوق قائمتين متساويتين في الطول من درجات كل مثال. أعد {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} حيث تحسب delta = candidate_mean - baseline_mean و regressions المؤشرات التي تحتوي على candidate[i] < baseline[i] - 1e-9، ويكون passed صحيحا فقط عندما يكون candidate_mean >= baseline_mean - tol و regressions <= max_regressions و (min_mean is None أو candidate_mean >= min_mean) صحيحين.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.