نموذج لغوي كبير كحكم (بناء معايير + تحليل الحكم)
Exact-match و F1 و ROUGE جميعها إلى إجابة نموذجية للمقارنة بها. ولكن بالنسبة للمخرجات المفتوحة مثل "هل كان هذا الشرح واضحا؟" أو "هل كانت النبرة مهنية؟" لا توجد سلسلة نصية صحيحة واحدة. الإجابة القابلة للتوسع التي استقر عليها القطاع هي LLM-as-judge: حيث تعطي نموذجاً ثانياً الإجابة بالإضافة إلى rubric وتطلب منه تقييم كل معيار. في حال وجود rubric محدد جيداً، غالباً ما تصل النتائج إلى نطاق اتفاق يتراوح بين 80 و 90% مع المقيمين البشر، لكن هذا يختلف كثيراً حسب المهمة ويمكن أن ينخفض بشكل حاد في الحالات الدقيقة أو المعادية، لذا تعامل أي رقم منفرد كشيء خاص بالمهمة وليس كقاعدة ثابتة. ومع ذلك، فهو عادة ما يكون متسقاً بما يكفي للتشغيل على آلاف المخرجات ليلياً، طالما أنك تقوم بفحصه بشكل دوري مقابل التصنيفات البشرية.
هذا هو الجزء الصادق، وسبب قابلية هذا الدرس للتصحيح. التقييم (scoring) الفعلي للحَكَم هو استدعاء لنموذج، واستدعاءات النماذج غير حتمية، لذا لا نصحّحها أبداً. ما تهندسه، وما تُصحَّح عليه، هو الهيكل الحتمي المحيط بالاستدعاء: بناء موجّه الحَكَم وتحليل الحكم الخارج منه. في الإنتاج تكون الخطوة الوسطى استدعاءً حقيقياً:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)يمكن لنموذج WebLLM الموجود على الجهاز في هذه الدورة أن يلعب دور الحكم مباشرة في المتصفح، لكن الاختبارات لا تعتمد عليه أبدا. إنها تتحقق من الـ prompt الذي تبنيه والـ parser الذي تكتبه.
يجب أن يقيّد الموجّه الحَكَم: حدّد الدور، واسرد معايير التقييم مرقّمة، واعرض الإجابة، واطلب حكماً قابلاً للقراءة آلياً لكي تتمكن من تحليله. الحيلة المعتادة هي فرض سطر واحد لكل معيار بشكل ثابت، هنا score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.تعد عملية Parsing عملية مسح باستخدام regex لكل سطر score: N/5 (غير حساس لحالة الأحرف)، لاستخراج الأعداد الصحيحة. تقوم عملية Aggregation بتحويل قائمة من الدرجات إلى mean و pass-rate: وهو كسر الدرجات التي تساوي أو تتجاوز عتبة معينة. معدل النجاح هو ما يتم التنبيه عليه؛ الإجابة السيئة الواحدة في الدفعة هي ضجيج، أما معدل النجاح المتغير فهو تراجع.
ما الذي ستبنيه.
build_judge_prompt(answer, rubric)-> سلسلة نصية تحتوي على كل بند من بنود التقييم المرقمة، والإجابة، وتوجيهscore: N/5.parse_judge_scores(text)-> قائمة الأعداد الصحيحة من كل سطرscore: N/5، بالترتيب، غير حساسة لحالة الأحرف.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(كلاهماrounded إلى 4 خانات)؛ القائمة الفارغة تعيد أصفاراً.
اضغط على Run لبناء prompt للحكم، وتحليل verdict عينة، وتجميع البيانات.
اكتب build_judge_prompt(answer, rubric) ليعيد سلسلة نصية تحتوي على كل بند من بنود التقييم المرقمة، ونص الإجابة، وتوجيها للرد score: N/5 لكل بند. اكتب parse_judge_scores(text) ليعيد قائمة الأعداد الصحيحة من كل سطر score: N/5 بالترتيب (غير حساس لحالة الأحرف). اكتب aggregate(scores, threshold=3) ليعيد {'mean', 'pass_rate'} مقربا إلى 4 خانات، حيث pass_rate هو كسر الدرجات >= threshold وقائمة فارغة تعيد أصفارا.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.