LLM-بهعنوان-قاضی: راهنمای نمرهدهی + تجزیه و تحلیل حکم
Exact-match و token-F1 لحظهای که پاسخها باز میشوند را تجزیه میکنند. «این تیکت را خلاصه کن» هزاران پاسخ خوب دارد و هیچ رشته طلایی واحدی ندارد. راهحل صنعتی این است که دکترای حقوق بهعنوان قاضی: شما از یک مدل دوم میخواهید که پاسخ را در مقابل یک دستورالعمل و یک حکم صادر کنند. این دقیقاً همان روشی است که تیمها چتباتها، پاسخهای RAG و متنهای مکالمهٔ ایجنت را در مقیاس وسیع ارزیابی میکنند.
این است واقعیت مهندسی و چیزی که یک مدیر استخدام به دنبال آن میگردد: داور یک مدل زبانی است، بنابراین پاسخ آن یک متن آزاد و نامنظم است. ممکن است بگوید VERDICT: PASS در یک دوییدن و Final verdict - fail در مورد بعدی، گاهی اوقات ابتدا با یک پاراگراف استدلال. بخش شکنندهٔ هر یوغ قاضی نه محرک است، بلکه پارسر که نتیجهای تمیز و قابل استفاده توسط ماشین را از آن متن استخراج میکند. بنابراین در این درس داور است مسخره شد (بدون مدل زنده، بدون شبکه) و دو جزء تعیینکنندهی آن را پیرامون آن میسازید: پرسوجوی رُبریک و واکشگر حکم.
سؤال رُبریک را بسازید. build_rubric(criteria) یک فهرست از رشتههای معیار را میگیرد و یک رشتهٔ واحد برای ورودی داور بازمیگرداند. باید:
- حاوی کلمه
Rubricتا قاضی با وظیفه آشنا باشد. - هر معیار را در یک خط جداگانه، با شماره ۱ فهرست کنید (
1. accuracy,2. clarity, ...), - و در پایان، قرارداد خروجی دقیق را به قاضی بگویید: یک خط
VERDICT: PASSیاVERDICT: FAILو یک خطSCORE: <0-10>. (شما هستید تعریفکننده فرمتِ پارسری که خودتان مینویسید.
پارسر را بسازید. parse_verdict(judge_text) پاسخ خام قاضی را اسکن میکند و بازمیگردد {"verdict": "PASS" or "FAIL", "score": int}قوانین استحکام که خروجی قضاوت واقعی بر شما تحمیل میکند:
- باش نامحسوس به حروف بزرگ و کوچک:
pass,PASSوPassهمه به معنای PASS هستند. - فقط یک برچسبخورده شمارش آراء:
VERDICT: PASS,verdict = fail,verdict - passیک «pass» صرف در استدلال، تصمیم محسوب نمیشود: «VERDICT: FAIL. «اصلاح آن باعث میشود که قبول شود.» یک نمرهٔ FAIL است و «این قبول نمیشود» هرگز نباید بهعنوان PASS محسوب شود. وقتی قاضی چندین حکم برچسبدار مینویسد (نظرش را تغییر داد)، آخرین یکی میبرد. - امتیاز باید یک عدد صحیح از ۰ تا ۱۰ باشد، بازهای که راهنمای ارزشیابی شما درخواست کرده است. هر عددی خارج از این بازه را نادیده بگیرید («امتیاز: ۸۵» نشان میدهد داور قرارداد را نقض کرده است، پاسخ خوبی نیست). از میان امتیازهای معتبر، امتیاز آخر برنده است.
- بازگشت یک پیشفرض ایمن وقتی هیچ مورد معتبری یافت نمیشود: حکم
"FAIL"و امتیاز0پاسخ غیرقابل تجزیهتحلیل قاضی هرگز نباید بهطور بیصدا بهعنوان پاس شمرده شود.
حکمها را با re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) و امتیاز میگیرد با re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I)امتیازها را از ۰ تا ۱۰ نگه دارید، سپس آخرین امتیاز هر کدام را بردارید. ما فقط پارسر و راهنمای نمرهدهی را نمرهگذاری میکنیم؛ تماس داور زنده در این درس صرفاً متن است و هرگز در آزمونها اجرا نمیشود. فشار دهید دویدن برای تجزیه و تحلیل چند پاسخ داور.
نیمهٔ تعیینکنندهی یک چارچوب LLM بهعنوان قاضی را بسازید (قاضی شبیهسازی شده است). build_rubric(criteria) را بنویسید که یک رشتهی ورودی را بازگرداند که شامل Rubric باشد، معیارها را از عدد ۱ به صورت جداگانه در هر خط شمارهگذاری کند و قرارداد خروجی VERDICT: PASS/FAIL + SCORE: <0-10> را مشخص نماید. تابع parse_verdict(judge_text) را بنویسید (امتیاز میتواند به صورت SCORE: 7، score=7 یا Score 7 نوشته شود) که {"verdict": "PASS"|"FAIL", "score": int} را بازگردانده: بدون حساسیت به حروف بزرگ/کوچک، تنها احکام برچسبخورده (VERDICT: PASS، verdict = fail، verdict - pass) و تنها امتیازهای 0 تا 10 را بشمارد، آخرین امتیاز هر کدام را برگرداند و در صورت عدم وجود هیچکدام، مقدار پیشفرض {"verdict": "FAIL", "score": 0} را بازگرداند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.