المنهج الدراسي الدرس 222 من 250 · المشروع: خدمة ذكاء المستندات
المشروع: خدمة ذكاء المستندات

تقييم الدفعات عبر المستندات المصنفة

يمكنك تحليل والتحقق من ومطابقة مستند واحد. السؤال الذي يطرحه مدير التوظيف فعليا هو: ما مدى جودته عبر آلاف المستندات؟ أنت تجيب على ذلك بالطريقة التي تتبعها كل فرق تعلم الآلة والبيانات الجادة -> باستخدام eval. تأخذ دفعة من المستندات التي قمت بتصنيفها يدويا (مجموعة gold)، وتشغل أداة الاستخراج الخاصة بك عليها، وتقيس عدد المرات التي ظهرت فيها كل حقل بشكل صحيح. بدون eval، لا توجد مصداقية.

اكتب evaluate(predictions, gold). كلاهما قوائم من القواميس بنفس الطول، متطابقتان حسب الموقع -> predictions[i] هو مخرج المستخرج الخاص بك للوثيقة التي إجابتها الحقيقية هي gold[i]. قارنهما حقل بحقل وأعد ملخصا:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

القواعد:

  • مجموعة الحقول المراد تقييمها هي اتحاد كل مفتاح ظهر في السجلات الذهبية. (الحقل المفقود من التنبؤ يعتبر خاطئا لهذا الحقل.)
  • يكون حقل
  • A هو correct عندما تساوي القيمة المتوقعة القيمة الذهبية. استخدم .get(field) على التوقع حتى يتم مقارنة المفتاح المفقود كـ None بدلا من حدوث خطأ.
  • accuracy هو إجمالي الحقول الصحيحة مقسوما على إجمالي الحقول المقارنة (المستندات مضروبة في الحقول)، مقربا إلى 4 خانات.
  • مجموعة فارغة آمنة:إذا كانت gold فارغة، أرجع {"accuracy": 0.0, "per_field": {}, "n": 0} -> لا تقسم أبدا على صفر.

تجعل pandas مسك الدفاتر مرتباً إن أردت ذلك -> ابنِ DataFrame من الإصابات لكل حقل واجمع الأعمدة -> لكن حلقتين بسيطتين على القواميس جيدتان بالقدر نفسه. لا تضبط أي بذرة هنا؛ فالدفعة ثابتة، لذا دقتك رقم يمكن للمصحّح التحقق منه بدقة.

يغلق هذا الحلقة في خدمة Document Intelligence الخاصة بك: استخراج ثم إصلاح ثم تحقق ثم تسوية ثم قياس. "لقد بنيت خط أنابيب استخراج معتمد بالمخطط مع تسوية وهيكل تقييم على مستوى الحقل" هي جملة تمنحك مقابلة ثانية. اضغط Run للحصول على درجة دفعة صغيرة مصنفة.

دورك

اكتب evaluate(predictions, gold) فوق قائمتين من القواميس من نوع record متساويتين في المواضع. قم بتقييم كل حقل في اتحاد مفاتيح الـ gold records؛ يكون الحقل صحيحا عندما يكون prediction.get(field) == gold[field] (المفتاح المفقود يقارن كـ None). أرجع {"accuracy", "per_field", "n"} حيث accuracy هو إجمالي الصحيح مقسوما على إجمالي الحقول المقارنة (مقربا إلى 4 أرقام عشرية)، و per_field[field] هو {"correct", "total"}، و n هو عدد المستندات. إذا كان gold فارغا، أرجع {"accuracy": 0.0, "per_field": {}, "n": 0} (لتجنب القسمة على صفر).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.