المنهج الدراسي الدرس 237 من 250 · المشروع: تقييم الأوامر البرمجية CI
المشروع: تقييم الأوامر البرمجية CI

نموذج لغوي كبير كحكم: تحليل معايير التقييم والقرار

تحلل مقاييس Exact-match و token-F1 اللحظة التي تصبح فيها الإجابات مفتوحة. عبارة "Summarize this ticket" لها ألف إجابة جيدة ولا يوجد لها نص ذهبي واحد. الحل الشائع في الصناعة هو LLM-as-judge: حيث تطلب من نموذج ثانٍ قراءة الإجابة مقابل rubric وإرجاع حكم. هذه هي الطريقة التي تقيم بها الفرق روبوتات الدردشة، وإجابات RAG، وسجلات agent على نطاق واسع.

إليك الواقع الهندسي، والشيء الذي يبحث عنه مدير التوظيف: المُقيّم هو نموذج لغوي، لذا فإن رده هو نص حر غير منظم. قد يقول VERDICT: PASS في تشغيل واحد وFinal verdict - fail في التشغيل التالي، وأحياناً مع فقرة من الاستدلال أولاً. الجزء الهش في أي نظام تقييم ليس الأمر البرمجي، بل هو parser الذي يستخرج نتيجة نظيفة وقابلة للاستخدام من قبل الآلة من ذلك النص. لذا في هذا الدرس يكون المُقيّم mocked (لا يوجد نموذج حي، لا توجد شبكة) وأنت تبني القطعتين الحتميتين حوله: الأمر البرمجي للتقييم ومحلل الحكم.

بناء مطالبة التقييم. build_rubric(criteria) تأخذ قائمة من سلاسل معايير المعايير وتعيد سلسلة مطالبة واحدة للحكم. يجب عليها:

  • تحتوي على كلمة Rubric ليعرف الحكم المهمة،
  • اذكر كل معيار في سطر مستقل، مرقمة من 1 (1. accuracy، 2. clarity، ...)،
  • وانتهِ بإخبار الحكم بعقد المخرجات الدقيق: سطر VERDICT: PASS أو VERDICT: FAIL وسطر SCORE: <0-10>. (أنت defining التنسيق الذي سيقرأه المحلل الخاص بك.)

قم ببناء الـ parser. parse_verdict(judge_text) يفحص الرد الخام من الـ judge ويعيد {"verdict": "PASS" or "FAIL", "score": int}. قواعد المتانة التي يفرضها عليك مخرج الـ judge الحقيقي:

  • Be case-insensitive: pass، و PASS، و Pass تعني جميعها PASS.
  • لا يُحتسب إلا الحكم الموسوم: VERDICT: PASS، verdict = fail، verdict - pass. كلمة "pass" مجرّدة في الاستدلال ليست قراراً: "VERDICT: FAIL. The fix would make it pass." هي FAIL، و"this does not pass" يجب ألا تُحتسب أبداً PASS. وعندما يكتب الحَكَم عدة أحكام موسومة (غيّر رأيه)، يفوز الأخير.
  • يجب أن تكون
  • A رقماً صحيحاً من 0 إلى 10، وهو النطاق الذي طلبته معايير التقييم الخاصة بك. تجاهل أي شيء خارج هذا النطاق (مثلاً "SCORE: 85" يعني أن الحكم خرق العقد، وليس إجابة جيدة). من بين الدرجات الصالحة، الدرجة الأخيرة هي التي تفوز.
  • أعد
  • قيمة افتراضية آمنة عندما لا يتم العثور على أي شيء صالح: verdict "FAIL" و score 0. يجب ألا يُحتسب رد القاضي غير القابل للتحليل كنجاح بشكل صامت أبداً.

ابحث عن الأحكام باستخدام re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) والدرجات باستخدام re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I)، احتفظ بالدرجات من 0 إلى 10، ثم خذ الأخيرة من كل منها. نحن نقيم الـ parser والـ rubric فقط؛ استدعاء الـ live judge هو نص في هذا الدرس، ولا يتم تشغيله أبدا في الاختبارات. اضغط على Run لتحليل بعض ردود الـ judge.

دورك

قم ببناء الجزء الحتمي من هيكل LLM-as-judge (الجزء الخاص بالقاضي وهمي). اكتب build_rubric(criteria) الذي يعيد سلسلة prompt تحتوي على Rubric، ويرقم كل معيار بدءا من 1 في سطر منفصل، ويوضح عقد مخرجات VERDICT: PASS/FAIL + SCORE: <0-10>. اكتب parse_verdict(judge_text) (يمكن كتابة score كـ SCORE: 7، score=7 أو Score 7) الذي يعيد {"verdict": "PASS"|"FAIL", "score": int}: غير حساس لحالة الأحرف، ويعد فقط الأحكام المصنفة (VERDICT: PASS، verdict = fail، verdict - pass) والدرجات من 0 إلى 10 فقط، مع أخذ الأخير من كل منها، والاعتماد على {"verdict": "FAIL", "score": 0} عند عدم وجود أي منها.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.