سرفصل‌ها درس 167 از 250 · ارزیابی‌ها و آزمون‌های LLM
ارزیابی‌ها و آزمون‌های LLM

همپوشانی به سبک توکن-F1 و ROUGE

Exact-match روی هر چیزی که طولانی‌تر از یک برچسب باشد بی‌رحمانه عمل می‌کند. از یک مدل بپرسید «مونالیزا را چه کسی و چه زمانی نقاشی کرد؟» و پاسخ طلایی این است: «لئوناردو داوینچی، حدود سال ۱۵۰۳». مدل می‌گوید «این اثر را لئوناردو داوینچی حدود سال ۱۵۰۳ نقاشی کرده است.» تطبیق دقیق به آن نمرهٔ صفر می‌دهد. واضح است که این پاسخ خوبی است. برای پاسخ‌های متن آزاد شما نیاز دارید امتیاز جزئی امتیازدهی، و دو ابزار استاندارد عبارتند از token-F1 و رُژ.

توکن-F1 هر پاسخ را به‌عنوان یک کیسهٔ واژگان در نظر می‌گیرد و می‌پرسد چقدر با هم هم‌پوشانی دارند. حروف را به صورت کوچک‌نویس درمی‌آورد، با استفاده از کاراکترهای فاصلهٔ سفید تقسیم می‌کند و دو مجموعهٔ توکن را مقایسه می‌کند:

  • دقت = (تعداد توکن‌ها در هر دو) / (تعداد توکن‌ها در پیش‌بینی) -> جریمه می‌کند برای پرکردن پاسخ با داده‌های بی‌ارزش.
  • یادآوری = (واژگان در هر دو) / (واژگان در طلایی) -> حذف واژگان طلایی را جریمه می‌کند.
  • F1 = میانگین هارمونیک، 2 * P * R / (P + R) -> یک عدد که ضعیف بودن در هر دو طرف را مجازات می‌کند.

امتیاز رشته‌های یکسان 1.0; پاسخ‌هایی که هیچ واژه‌ای مشترک ندارند امتیاز 0.0. یکی را به‌صورت دستی انجام دهید: پیش‌بینی "the cat ran", طلا "the dog sat". تنها توکن مشترک است the، بنابراین دقت است 1/3, فراخوانی است 1/3، و F1 است 1/3.

روژ-ان این معیار خلاصه‌سازی بر اساس آن ارزیابی می‌شود. به جای کلمات منفرد، هم‌پوشانی‌ها را می‌شمارد. ان-گرام‌ها (مجموعه‌های متوالی از n توکن‌ها) و گزارش‌ها یادآوریاز میان n-گرام‌های مجموعهٔ دادهٔ اصلی، چند مورد در پیش‌بینی ظاهر می‌شوند؟

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

برای طلا "the cat sat on" و پیش‌بینی "the cat sat": چهار یونگرام طلای عبارتند از the, cat, sat, on; سه ظاهر می‌شوند، بنابراین ROUGE-1 است 3/4سه دوحرفی طلای عبارتند از (the,cat), (cat,sat), (sat,on); دو ظاهر می‌شوند، بنابراین ROUGE-2 است 2/3. ROUGE-2 معمولاً کمتر از ROUGE-1 است زیرا کلمهٔ تطبیقی سفارش سخت‌تر از جور کردن کلمات است، و دقیقاً به همین دلیل است که شما هر دو را گزارش می‌کنید.

چه چیزی بسازیم.

  • token_f1(pred, gold) -> F1 بر روی توکن کوچک مجموعه‌ها; بازگشت 0.0 اگر هر یک از دو طرف خالی باشد یا تداخلی وجود نداشته باشد (هرگز تقسیم بر صفر نکنید).
  • rouge_n(pred, gold, n) -> کسری از n-گرام‌های طلا که در پیش‌بینی ظاهر می‌شوند؛ 0.0 زمانی که طلا هیچ n-گرام ندارد.

این با کتابخانه چگونه متفاوت است. برای تدریس، ما نمره‌ای فراتر از حد تشریفاتی کسب می‌کنیم. مجموعه‌ها، بنابراین یک کلمهٔ تکراری فقط یک‌بار شمرده می‌شود. توکن تولید F1 (سبک SQuAD) از شمارش چندمجموعه‌ای استفاده می‌کند، بنابراین تکرارها وزن‌دهی می‌شوند، و ROUGE واقعی شامل ROUGE-L است که به جای n-گرام‌های ثابت، طولانی‌ترین زیرمجموعهٔ مشترک را امتیازدهی می‌کند. ایده یکسان است؛ نسخه‌های تولیدی صرفاً تکرارها و ترتیب کلمات را با دقت بیشتری می‌شمارند.

رسانه دویدن امتیازدهی یک پیش‌بینی در مقابل یک مرجع

نوبت شما

نوشتن token_f1(pred, gold) محاسبه F1 دو مجموعه توکن‌های کوچک (precision = همپوشانی / توکن‌های پیش‌بینی، recall = همپوشانی / توکن‌های طلایی، F1 = میانگین هارمونیک)، و بازگرداندن 0.0 وقتی هر یک از طرفین خالی باشد یا هیچ تداخلی وجود نداشته باشد. بنویسید rouge_n(pred, gold, n) بازگشت کسری از n-گرام‌های طلایی (متوالی nتُپل‌های n-گرمی (مجموعه توکن‌های متوالی) که در پیش‌بینی ظاهر می‌شوند، بازگردانده شود 0.0 زمانی که مجموعهٔ اصلی هیچ n-گرام ندارد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.