سرفصل‌ها درس 169 از 250 · ارزیابی‌ها و آزمون‌های LLM
ارزیابی‌ها و آزمون‌های LLM

LLM به‌عنوان قاضی (ساخت راهنما + تجزیه حکم)

Exact-match، F1 و ROUGE همگی به یک پاسخ طلایی نیاز دارند تا با آن مقایسه شوند. اما برای خروجی‌های باز («آیا این توضیح واضح بود؟»، «آیا لحن حرفه‌ای بود؟»)، هیچ رشتهٔ واحدی درست وجود ندارد. پاسخی مقیاس‌پذیر که صنعت بر سر آن توافق کرده عبارت است از دکترای حقوق به‌عنوان قاضی: شما پاسخ را به مدل دوم می‌دهید به‌علاوهٔ دستورالعمل و از آن بخواهید هر معیار را نمره‌دهی کند. در یک راهنمای ارزیابی خوب‌تعریف‌شده، اغلب در بازهٔ توافق ۸۰–۹۰٪ با ارزیابان انسانی قرار می‌گیرد، اما این مقدار بسته به وظیفه بسیار متغیر است و می‌تواند در موارد ظریف یا خصمانه به‌طور چشمگیری کاهش یابد، بنابراین هر عدد منفرد را به‌عنوان ویژه‌وظیفه‌ای در نظر بگیرید نه یک قانون کلی. با این حال، این مدل معمولاً به اندازه کافی پایدار است که هر شب بر روی هزاران خروجی اجرا شود، به شرط آنکه به طور دوره‌ای آن را با برچسب‌های انسانی به صورت نمونه‌ای بررسی کنید.

این بخش صادقانه است و دلیل قابل نمره‌دهی بودن این درس. قضاوت واقعی داور امتیازدهی این یک فراخوانی مدل است و فراخوانی‌های مدل غیرقطعی هستند، بنابراین هرگز آن‌ها را نمره‌دهی نمی‌کنیم. آنچه شما مهندسی می‌کنید و بر اساس آن نمره‌دهی می‌شوید، سازوکار قطعی پیرامون این فراخوانی است: ساختن پرس‌وجوی قاضی و تحلیل رأی خارج شدن. در تولید، مرحلهٔ میانی یک فراخوانی واقعی است:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

WebLLM روی دستگاه در این دوره می‌تواند به‌صورت زنده در مرورگر نقش قاضی را ایفا کند، اما آزمون‌ها هرگز به آن وابسته نیستند. آن‌ها پرس‌وش‌را که می‌سازید و پارسری را که می‌نویسید بررسی می‌کنند.

این دستورالعمل باید قاضی را ملزم کند: نقش را مشخص کنید، معیارهای رُبریک را به‌صورت شماره‌گذاری‌شده فهرست کنید، پاسخ را نشان دهید و یک حکم قابل‌خواندن توسط ماشین درخواست کنید تا بتوانید آن را تجزیه و تحلیل کنید. ترفند استاندارد این است که هر معیار را در یک خط مجزا با قالب ثابت قرار دهید، در اینجا score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

پارسینگ در این صورت یک جستجوی منظم برای هر score: N/5 خط (بدون توجه به حروف بزرگ/کوچک)، استخراج اعداد صحیح. تجمیع یک فهرست نمره‌ها را به یک متوسط و یک نرخ قبولی: کسری از نمرات که در یا بالاتر از یک آستانه قرار دارند. نرخ قبولی همان چیزی است که بر اساس آن هشدار می‌دهید؛ یک پاسخ نادرست در یک دسته نویز است، و نرخ قبولی متحرک یک پسرفت است.

چه چیزی بسازیم.

  • build_judge_prompt(answer, rubric) -> یک رشتهٔ ورودی که شامل هر مورد رُبرِیک شماره‌گذاری‌شده، پاسخ، و یک score: N/5 دستور
  • parse_judge_scores(text) -> فهرست اعداد صحیح از هر score: N/5 خط، به ترتیب، بدون توجه به حروف بزرگ و کوچک
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"} (هر دو roundبه ۴ رقم گرد شده است؛ یک لیست خالی صفرها را برمی‌گرداند.

رسانه دوندن برای ساختن یک پرسش داور، تجزیه و تحلیل یک حکم نمونه، و تجمیع.

نوبت شما

نوشتن build_judge_prompt(answer, rubric) بازگرداندن یک رشتهٔ پیام که شامل هر مورد رُبرِیک شماره‌گذاری‌شده، متن پاسخ و یک دستور برای پاسخ‌دادن است score: N/5 برای هر مورد. بنویسید parse_judge_scores(text) بازگرداندن فهرست اعداد صحیح از هر score: N/5 خط به ترتیب (بدون توجه به حروف بزرگ/کوچک). بنویسید aggregate(scores, threshold=3) بازگرداندن {'mean', 'pass_rate'} گرد شده به ۴ رقم اعشار، که در آن pass_rate کسری از نمراتی است که ≥ آستانه هستند و یک لیست خالی، صفرها را بازمی‌گرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.