سرفصل‌ها درس 222 از 250 · پروژه: سرویس اطلاعات
پروژه: سرویس اطلاعات

ارزیابی دسته‌ای بر روی اسناد برچسب‌خورده

می‌توانید یک سند واحد را تجزیه و تحلیل، اعتبارسنجی و تطبیق دهید. سؤالی که یک مدیر استخدام واقعاً می‌پرسد این است: در هزاران سند چقدر خوب عمل می‌کند؟ شما به همان روشی پاسخ می‌دهید که هر تیم جدی یادگیری ماشین و داده انجام می‌دهد -> با یک ارزیابی. یک دسته سند را که خودتان برچسب‌گذاری کرده‌اید (مجموعه طلایی) انتخاب می‌کنید، استخراج‌گر خود را روی آن‌ها اجرا می‌کنید و اندازه‌گیری می‌کنید هر فیلد چند بار درست بیرون آمده است. بدون ارزیابی، اعتبار وجود ندارد.

نوشتن evaluate(predictions, gold). هر دو لیست‌هایی از dictها با طول یکسان هستند که از نظر موقعیت هم‌تراز شده‌اند -> predictions[i] خروجی استخراج‌گر شما برای سندی که پاسخ واقعی آن gold[i]. آنها را فیلد به فیلد مقایسه کنید و یک خلاصه بازگردانید:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

قوانین:

  • مجموعه فیلدهایی که باید امتیازدهی شوند، اتحاد همه کلیدهای مشاهده‌شده در رکوردهای طلایی است. (فیلدی که در پیش‌بینی وجود ندارد، برای آن فیلد به‌عنوان نادرست محسوب می‌شود.)
  • یک فیلد زمانی درست است که مقدار پیش‌بینی‌شده با مقدار طلایی برابر باشد. از .get(field) روی پیش‌بینی، بنابراین یک کلید مفقودشده به‌صورت مقایسه می‌شود None به جای کرش کردن.
  • accuracy است که تعداد کل فیلدهای صحیح تقسیم بر کل فیلدهای مقایسه شده (مدارک ضربدر فیلدها) است و تا ۴ رقم اعشار گرد شده است.
  • ایمن برای مجموعهٔ خالی: اگر gold اگر خالی باشد، بازگردانید {"accuracy": 0.0, "per_field": {}, "n": 0} -> هرگز تقسیم بر صفر انجام ندهید.

pandas اگر بخواهید حسابداری را مرتب می‌کند -> ساخت یک DataFrame از تعداد یافته‌های هر فیلد و مجموع ستون‌ها -> اما چند حلقه ساده dict به همان خوبی عمل می‌کنند. در اینجا هیچ چیزی را پیش‌دانه (seed) نکنید؛ مجموعه داده‌ها ثابت است، بنابراین دقت شما عددی است که ارزیاب می‌تواند دقیقاً آن را بررسی کند.

این چرخه را در سرویس هوش مستند شما می‌بندد: استخراج -> تعمیر -> اعتبارسنجی -> تطبیق -> اندازه‌گیری. «من یک خط لوله استخراج اعتبارسنجی‌شده با اسکیما، همراه با تطبیق و یک ابزار ارزیابی در سطح فیلد ساختم» جمله‌ای است که شما را به مصاحبه دوم می‌رساند. دکمه Run را فشار دهید تا یک دسته کوچک برچسب‌خورده را امتیازدهی کنید.

نوبت شما

نوشتن evaluate(predictions, gold) روی دو لیست هم‌ترازشده از رکوردهای دیکت. به هر فیلد در یونیون کلیدهای رکوردهای طلایی امتیاز دهید؛ یک فیلد زمانی صحیح است که prediction.get(field) == gold[field] (یک کلید مفقودشده به‌صورت مقایسه می‌شود None). بازگردانید {"accuracy", "per_field", "n"} که accuracy در مجموع روی کل فیلدهای مقایسه شده صحیح است (گرد شده به ۴ رقم اعشاری)، per_field[field] است {"correct", "total"}، و n تعداد اسناد است. اگر gold خالی است، بازگردان {"accuracy": 0.0, "per_field": {}, "n": 0} (بدون تقسیم بر صفر).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.