المنهج الدراسي الدرس 166 من 250 · تقييمات واختبارات نماذج اللغات الكبيرة (LLM)
تقييمات واختبارات نماذج اللغات الكبيرة (LLM)

تقييمات مبنية على التأكيد (المطابقة التامة والاحتواء)

لقد قمت بتغيير الـ prompt والنتيجة تبدو أفضل. هذا الشعور ليس نتيجة. وظيفة الـ eval هي استبداله برقم يمكنك وضعه في الـ pull request: هذا الـ prompt يحصل على 0.86 في الـ gold set، والقديم حصل على 0.74. قبل أن تلجأ إلى أي شيء معقد، فإن الـ eval الأساسي هو الأرخص: خذ مجموعة من المدخلات المصنفة مع إجابات صحيحة معروفة، وشغل نظامك، واحسب عدد الإجابات الصحيحة التي حصل عليها.

تكمن الصعوبة في تحديد معنى كلمة "صحيح". نادراً ما يعيد LLM السلسلة الذهبية حرفاً بحرف. فهو يضيف نقطة، أو يكتب كلمة بحرف كبير، أو يضع الإجابة داخل جملة. لذا عليك اختيار match mode:

  • exact -> التنبؤ يساوي الإجابة النموذجية بعد إجراء عملية التطبيع (تحويل إلى أحرف صغيرة، وإزالة المسافات المحيطة). استخدم هذا للإجابات القصيرة والمغلقة: تسمية، أو نعم/لا، أو مدينة.
  • يحتوي على -> الإجابة الصحيحة تظهر في مكان ما داخل التنبؤ. استخدم هذا عندما يُسمح للنموذج بالدردشة: "العاصمة هي باريس." يجب أن تُحسب كإجابة صحيحة لـ paris.

التطبيع مهم. بدونه، يُحتسب "Paris" و"paris" إخفاقاً ويكذب عليك تقييمك. هذا هو شكل مقارنة واحدة:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)
تعد

Accuracy هي مجرد متوسط تلك الدرجات لكل مثال. في بيئة اختبار حقيقية تأتي predictions من استدعاء نموذج حي؛ هنا يتم تقييمك على رياضيات تسجيل الدرجات، وهي الجزء الذي يجب أن يكون صحيحا تماما. هناك فحصان إضافيان في كل بيئة اختبار واعية بالسلامة: قائمة allow-list (يجب أن يكون كل مخرج واحدا من مجموعة ثابتة من التصنيفات) وفحص forbidden-pattern (لا يمكن أن يحتوي أي مخرج على عبارة محظورة مثل "as an AI").

ماذا ستبني.

  • evaluate(predictions, gold, mode) -> متوسط درجة exact-or-contains عبر قائمتين متوازيتين، rounded إلى 4 خانات. القائمة الفارغة تعيد 0.0، ولا تسبب تعطلاً أبداً. ارفع ValueError عند وضع غير معروف.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} يحسب عدد المخرجات المنزوعة في مجموعة allowed.
  • has_forbidden(text, patterns) -> True إذا تم العثور على أي regex في patterns داخل text.

اضغط على Run للحصول على مجموعة ذهبية في كلا النمطين.

دورك

اكتب evaluate(predictions, gold, mode) الذي يعيد متوسط الدرجة عبر قائمتين متوازيتين، حيث mode هو 'exact' (المساواة المعيارية) أو 'contains' (ظهور gold داخل التنبؤ)؛ قم بمعايرة strip().lower() و round للدقة إلى 4 خانات، وأعد 0.0 على مجموعة فارغة، وارفع ValueError عند وضع غير معروف. اكتب أيضاً label_in_set(outputs, allowed) -> {'passed', 'failed'} لحساب المخرجات المنزوعة مقابل مجموعة allowed، و has_forbidden(text, patterns) -> True إذا تم العثور على أي نمط regex في text، مع تجاهل حالة الأحرف (لذا as an ai يلتقط أيضاً "As an AI").

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.