المجموعة الذهبية + المسجلون
أرسلتَ أمراً جديداً وهو يبدو أفضل. يسأل قائد فريقك السؤال الوحيد المهم: بأي قدر هو أفضل، وكيف عرفت ذلك؟ "الأحاسيس" لا تصمد أمام مراجعة الكود. المهمة هي تحويل ادعاء غامض إلى رقم يمكنك الدفاع عنه، وأساس كل نظام تقييم للأوامر هو مجموعة مرجعية (قائمة من المدخلات مقترنة بإجاباتها الصحيحة المعروفة) بالإضافة إلى مقيّم (دالة توضح مدى قرب إجابة النموذج من الإجابة المرجعية).
هذا هو الدرس 1 من مشروع مكون من ثلاثة أجزاء. بنهاية هذه الوحدة سيكون لديك harness لتقييم الـ prompt مع CI regression gate وهو النوع الذي يراه مدير التوظيف في السيرة الذاتية كـ "built a prompt-eval harness + regression gate" ويعرف فوراً أنك تستطيع إطلاق ميزات LLM بمسؤولية. اليوم ستبني أداة القياس وهي ثلاثة scorers والـ runner الذي يطبق واحداً منها عبر gold set كامل.
ملاحظة صادقة واحدة حول النطاق: إن منطق harness و regression-gate الذي تبنيه هنا حقيقي وقابل للنقل، لكن نموذج judge هو mocked وكلمة "accuracy" هنا تعني المطابقة التامة. في مشروع حقيقي، ستقوم بتوصيل هذه القطع نفسها بنموذج judge حي ومقيمين أكثر ثراءً.
تحتاج المهام المختلفة إلى مقيمين مختلفين، لذا ستقوم ببناء ثلاثة:
score_exact(pred, gold)->1.0إذا كانت التوقعات تساوي الإجابة الذهبية بعد.strip()على كليهما، وإلا0.0. هذا هو الاستدعاء الصحيح للمصنف ("positive" مقابل "negative") حيث التطابق التام فقط هو ما يُحتسب.score_contains(pred, gold)->1.0إذا ظهرت السلسلة الذهبية في أي مكان داخل التنبؤ (غير حساس لحالة الأحرف، مع إزالة المسافات من كليهما)، وإلا0.0. جيد لفحوصات "هل ذكرت الإجابة الحقيقة الرئيسية؟" حيث تكون الكلمات الإضافية مقبولة.token_f1(pred, gold)-> درجة partial-credit في[0.0, 1.0]بناء على تداخل الكلمات، وهي الأداة الأساسية للإجابات النصية الحرة حيث يجب أن تتفوق الإجابة القريبة من الصواب على الإجابة الخاطئة تماما.
كيفية عمل token F1. تحويل السلسلتين إلى أحرف صغيرة وتقسيمهما إلى word tokens. احسب عدد الـ tokens المشتركة بينهما مع مراعاة التكرار (تعامل مع قوائم الـ tokens كـ multisets، لذا فإن collections.Counter و & intersection الخاص بها هما صديقاك). ثم:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)مثال عملي: , pred="the quick brown fox", gold="the lazy brown dog". يشتركان في the و brown -> التداخل هو 2. الدقة هي 2/4، والاستدعاء هو 2/4، لذا فإن F1 هو 0.5. انتبه للحالات الحدية: إذا كان أي جانب يحتوي على صفر من tokens، أو إذا كان التداخل صفراً، فإن F1 هو 0.0 (لا تقسم أبداً على صفر).
أخيراً، الـ runner الذي يحول الـ scorer إلى evaluation:
run_suite(predictions, golds, scorer)-> قم بتقييم كل زوج(pred, gold)باستخدام وظيفةscorerالمعطاة وأرجع{"score": mean_score, "per_case": [list of each case's score]}. المتوسط عبر مجموعة فارغة هو0.0.
تمرير المُقيِّم كمُدخل (in) (بدلاً من تثبيته في الكود) هو التصميم الذي يتيح لأداة اختبار واحدة تقييم المصنِّفات ذات المطابقة التامة والإجابات النصية الحرة على حد سواء. اضغط Run لتقييم مجموعة ذهبية صغيرة بثلاث طرق مختلفة.
ابنِ النواة الأساسية لتسجيل النقاط في إطار عمل prompt-eval. اكتب score_exact(pred, gold) (1.0 في حالة التطابق التام بعد إزالة المسافات وإلا 0.0)، و score_contains(pred, gold) (1.0 إذا كانت القيمة الذهبية بعد إزالة المسافات وتحويلها إلى أحرف صغيرة جزءاً من التنبؤ وإلا 0.0)، و token_f1(pred, gold) (مقياس F1 لتداخل الرموز فوق كلمات محولة إلى أحرف صغيرة، 0.0 عندما يكون أحد الطرفين فارغاً أو لا يوجد تداخل). ثم اكتب run_suite(predictions, golds, scorer) الذي يعيد {"score": mean, "per_case": [scores]} (متوسط 0.0 في مجموعة فارغة).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.