سرفصل‌ها درس 166 از 250 · ارزیابی‌ها و آزمون‌های LLM
ارزیابی‌ها و آزمون‌های LLM

ارزیابی‌های مبتنی بر گزاره (مطابقت دقیق و شامل)

شما پرس‌وجو را تغییر دادید و خروجی «بهتر به نظر می‌رسد». آن حس یک نتیجه نیست. وظیفه eval این است که آن را با عددی جایگزین کند که بتوانید در درخواست کشش قرار دهید: این پرامپت در مجموعهٔ طلایی امتیاز ۰.۸۶ می‌گیرد، در حالی که نسخهٔ قبلی امتیاز ۰.۷۴ داشت.قبل از اینکه سراغ ابزارهای پیچیده بروید، ساده‌ترین و ارزان‌ترین روش ارزیابی، همان ارزیابی معمول است: یک مجموعه ورودی برچسب‌خورده با پاسخ‌های صحیح شناخته‌شده را در نظر بگیرید، سیستم خود را اجرا کنید و بشمارید چند مورد را درست پاسخ داده است.

نکته این است که تصمیم بگیرید «درست» به چه معناست. یک LLM تقریباً هرگز رشته طلایی را بایت‌به‌بایت بازنمی‌گرداند. آن یک نقطه اضافه می‌کند، کلمه‌ای را بزرگ‌نویس می‌کند و پاسخ را در قالب یک جمله می‌پیچد. پس شما یک حالت مسابقه:

  • دقیق -> پیش‌بینی پس از نرمال‌سازی (تبدیل حروف به حروف کوچک و حذف فاصله‌های اطراف) با پاسخ واقعی برابر می‌شود. از این برای پاسخ‌های کوتاه و بسته استفاده کنید: یک برچسب، یک بله/خیر، یک شهر.
  • دارای -> پاسخ طلایی ظاهر می‌شود جایی در درون پیش‌بینی. از این زمانی استفاده کنید که مدل اجازه داشته باشد پرحرف باشد: «پایتخت پاریس است.» همچنان باید به‌عنوان صحیح برای gold محسوب شود. paris.

طبیعی‌سازی امور. بدون آن، "Paris" و "paris" اگر آن را به‌عنوان خطا ثبت کنی، ارزیابی‌ات به تو دروغ می‌گوید. این شکل یک مقایسه است:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

دقت در این صورت صرفاً میانگین آن نمره‌های هر نمونه است. در یک هارنس واقعی predictions از یک تماس با مدل زنده می‌آید؛ در اینجا شما بر اساس ریاضیات امتیازدهی ارزیابی می‌شوید، بخشی که باید دقیقاً درست باشد. دو بررسی دیگر در هر مهار ایمنی‌محور وجود دارد: یک فهرست اجازه‌داده‌شده (هر خروجی باید یکی از یک مجموعه ثابت از برچسب‌ها باشد) و یک الگوی ممنوعه اسکن (ممکن است هیچ خروجی حاوی عبارت ممنوعه‌ای مانند «به‌عنوان یک هوش مصنوعی» نباشد).

چه چیزی بسازیم.

  • evaluate(predictions, gold, mode) -> میانگین امتیاز دقیق یا شامل بودن بر روی دو لیست موازی، roundبه ۴ مکان محدود شد. یک لیست خالی بازگردانده می‌شود. 0.0، هرگز سقوط. افزایش ValueError در حالتی نامعلوم.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} شمردن اینکه چند خروجی برهنه در ... وجود دارد allowed مجموعه
  • has_forbidden(text, patterns) -> True اگر هر regex در patterns در یافت می‌شود text.

رسانه دویدن کسب مدال طلا در هر دو حالت

نوبت شما

نوشتن evaluate(predictions, gold, mode) بازگرداندن میانگین امتیاز بر روی دو فهرست موازی، که mode است 'exact' (برابری نرمال‌شده) یا 'contains' (طلایی بودن در داخل پیش‌بینی ظاهر می‌شود)؛ نرمال‌سازی با strip().lower(), round دقت را تا ۴ رقم اعشاری محاسبه کرده و بازگردانید 0.0 روی یک مجموعهٔ خالی، و توان را محاسبه کنید ValueError روی یک مد ناشناخته. همچنین بنویسید label_in_set(outputs, allowed) -> {'passed', 'failed'} مجموع کردن خروجی‌های استریپ‌شده در مقابل allowed set، و has_forbidden(text, patterns) -> True اگر هر الگوی regex در text، بدون توجه به حروف بزرگ و کوچک (پس as an ai همچنین عبارت «As an AI» را نیز می‌گیرد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.