سرفصل‌ها درس 237 از 250 · پروژه: ارزیابی سریع CI
پروژه: ارزیابی سریع CI

LLM-به‌عنوان-قاضی: راهنمای نمره‌دهی + تجزیه و تحلیل حکم

Exact-match و token-F1 لحظه‌ای که پاسخ‌ها باز می‌شوند را تجزیه می‌کنند. «این تیکت را خلاصه کن» هزاران پاسخ خوب دارد و هیچ رشته طلایی واحدی ندارد. راه‌حل صنعتی این است که دکترای حقوق به‌عنوان قاضی: شما از یک مدل دوم می‌خواهید که پاسخ را در مقابل یک دستورالعمل و یک حکم صادر کنند. این دقیقاً همان روشی است که تیم‌ها چت‌بات‌ها، پاسخ‌های RAG و متن‌های مکالمهٔ ایجنت را در مقیاس وسیع ارزیابی می‌کنند.

این است واقعیت مهندسی و چیزی که یک مدیر استخدام به دنبال آن می‌گردد: داور یک مدل زبانی است، بنابراین پاسخ آن یک متن آزاد و نامنظم است. ممکن است بگوید VERDICT: PASS در یک دوییدن و Final verdict - fail در مورد بعدی، گاهی اوقات ابتدا با یک پاراگراف استدلال. بخش شکنندهٔ هر یوغ قاضی نه محرک است، بلکه پارسر که نتیجه‌ای تمیز و قابل استفاده توسط ماشین را از آن متن استخراج می‌کند. بنابراین در این درس داور است مسخره شد (بدون مدل زنده، بدون شبکه) و دو جزء تعیین‌کننده‌ی آن را پیرامون آن می‌سازید: پرس‌وجوی رُبریک و واکشگر حکم.

سؤال رُبریک را بسازید. build_rubric(criteria) یک فهرست از رشته‌های معیار را می‌گیرد و یک رشتهٔ واحد برای ورودی داور بازمی‌گرداند. باید:

  • حاوی کلمه Rubric تا قاضی با وظیفه آشنا باشد.
  • هر معیار را در یک خط جداگانه، با شماره ۱ فهرست کنید (1. accuracy, 2. clarity, ...),
  • و در پایان، قرارداد خروجی دقیق را به قاضی بگویید: یک خط VERDICT: PASS یا VERDICT: FAIL و یک خط SCORE: <0-10>. (شما هستید تعریف‌کننده فرمتِ پارسری که خودتان می‌نویسید.

پارسر را بسازید. parse_verdict(judge_text) پاسخ خام قاضی را اسکن می‌کند و بازمی‌گردد {"verdict": "PASS" or "FAIL", "score": int}قوانین استحکام که خروجی قضاوت واقعی بر شما تحمیل می‌کند:

  • باش نامحسوس به حروف بزرگ و کوچک: pass, PASSو Pass همه به معنای PASS هستند.
  • فقط یک برچسب‌خورده شمارش آراء: VERDICT: PASS, verdict = fail, verdict - passیک «pass» صرف در استدلال، تصمیم محسوب نمی‌شود: «VERDICT: FAIL. «اصلاح آن باعث می‌شود که قبول شود.» یک نمرهٔ FAIL است و «این قبول نمی‌شود» هرگز نباید به‌عنوان PASS محسوب شود. وقتی قاضی چندین حکم برچسب‌دار می‌نویسد (نظرش را تغییر داد)، آخرین یکی می‌برد.
  • امتیاز باید یک عدد صحیح از ۰ تا ۱۰ باشد، بازه‌ای که راهنمای ارزشیابی شما درخواست کرده است. هر عددی خارج از این بازه را نادیده بگیرید («امتیاز: ۸۵» نشان می‌دهد داور قرارداد را نقض کرده است، پاسخ خوبی نیست). از میان امتیازهای معتبر، امتیاز آخر برنده است.
  • بازگشت یک پیش‌فرض ایمن وقتی هیچ مورد معتبری یافت نمی‌شود: حکم "FAIL" و امتیاز 0پاسخ غیرقابل تجزیه‌تحلیل قاضی هرگز نباید به‌طور بی‌صدا به‌عنوان پاس شمرده شود.

حکم‌ها را با re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) و امتیاز می‌گیرد با re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I)امتیازها را از ۰ تا ۱۰ نگه دارید، سپس آخرین امتیاز هر کدام را بردارید. ما فقط پارسر و راهنمای نمره‌دهی را نمره‌گذاری می‌کنیم؛ تماس داور زنده در این درس صرفاً متن است و هرگز در آزمون‌ها اجرا نمی‌شود. فشار دهید دویدن برای تجزیه و تحلیل چند پاسخ داور.

نوبت شما

نیمهٔ تعیین‌کننده‌ی یک چارچوب LLM به‌عنوان قاضی را بسازید (قاضی شبیه‌سازی شده است). build_rubric(criteria) را بنویسید که یک رشته‌ی ورودی را بازگرداند که شامل Rubric باشد، معیارها را از عدد ۱ به صورت جداگانه در هر خط شماره‌گذاری کند و قرارداد خروجی VERDICT: PASS/FAIL + SCORE: <0-10> را مشخص نماید. تابع parse_verdict(judge_text) را بنویسید (امتیاز می‌تواند به صورت SCORE: 7، score=7 یا Score 7 نوشته شود) که {"verdict": "PASS"|"FAIL", "score": int} را بازگردانده: بدون حساسیت به حروف بزرگ/کوچک، تنها احکام برچسب‌خورده (VERDICT: PASS، verdict = fail، verdict - pass) و تنها امتیازهای 0 تا 10 را بشمارد، آخرین امتیاز هر کدام را برگرداند و در صورت عدم وجود هیچ‌کدام، مقدار پیش‌فرض {"verdict": "FAIL", "score": 0} را بازگرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.