المنهج الدراسي الدرس 220 من 250 · المشروع: خدمة ذكاء المستندات
المشروع: خدمة ذكاء المستندات

التحقق من مطابقة مخطط + إصلاح JSON

ينتج المحلل الخاص بك قاموسا، ولكن في خط معالجة حقيقي تصل البيانات غالبا كـ JSON text من خدمة سابقة، أو ملف محفوظ، أو نموذج لغوي كبير تم توجيهه لـ "إرجاع JSON". هناك أمران يخطئان دائما، وهذا الدرس يعالج كليهما: يكون الـ JSON malformed، أو يكون الـ JSON well-formed but wrong.

الجزء الأول: إصلاح ملف JSON. تحب النماذج تغليف JSON في ```json code fences، أو ترك فاصلة في النهاية، أو استخدام علامات اقتباس فردية. ملف json.loads يظهر خطأ مع كل هذه الحالات. اكتب repair_json(text) يقوم بتنظيف النص، ثم يقوم بـ parse له -> ويعيد كائن Python. خطوات الإصلاح، بالترتيب:

  • إزالة فواصل كود Markdown: إزالة ```json أو ``` في البداية و``` في النهاية.
  • احذف الفواصل الزائدة قبل } أو ] (مثل re.sub(r",\s*([}\]])", r"\1", text)).
  • جرب json.loads على السلسلة المنظفة. فقط إذا فشل ذلك، حول علامات الاقتباس المفردة إلى علامات اقتباس مزدوجة وحاول مرة أخرى (التحليل أولا يعني أن الفاصلة العليا داخل قيمة، مثل O'Brien، لا يتم تشويهها أبدا).
  • أعد النتيجة التي تم تحليلها.

الهدف الأساسي هو أن repair_json يجب ألا ترفع استثناءً عند تلقي المدخلات غير المنظمة التي تقدمها الاختبارات -> فهي تقوم بالإصلاح والتحليل بدلاً من التوقف عن العمل.

الجزء الثاني: التحقق من المطابقة مع مخطط. الآن بعد أن لديك كائن، هل له الشكل الصحيح؟ اكتب validate_record(obj, schema) -> dict {"ok": bool, "errors": [..]}. يقوم schema بربط كل اسم حقل مطلوب بنوع Python، مثل:

schema = {"vendor": str, "total": float, "line_items": list}

لكل حقل في schema: إذا كان مفقودا من obj، أضف نص خطأ "missing: <field>"؛ إذا كان موجودا ولكن بنوع خاطئ، أضف "wrong type: <field>". ok هو True فقط عندما يكون errors فارغا.

حافة حادة تلسع الجميع: في Python يعتبر bool فئة فرعية من int، لذا فإن isinstance(True, int) هو True. المخطط الذي يطلب int يجب أن يقوم بـ reject لملف JSON true. احمهِ: عندما يكون النوع المتوقع هو int، اطلب أيضاً not isinstance(value, bool). يتم إدخال أرقام صحيحة في حقول Float عادةً، لذا اقبل int حيث يتوقع float (لكن استمر في رفض bool).

تعمل هاتان الوظيفتان معاً كحارس للبنية البرمجية: لا يمكن لأي شيء مشوه أو غير متناسق العبور. اضغط على Run لإصلاح كتلة نصية محاطة بأسوار وبها فاصلة زائدة في النهاية والتحقق من النتيجة.

دورك

اكتب دالتين. تقوم repair_json(text) بإزالة فواصل الأكواد في Markdown، وتحذف الفواصل الزائدة قبل }/]، وتجرب json.loads، وإذا فشل ذلك فقط، تقوم بتحويل علامات الاقتباس المفردة إلى علامات اقتباس مزدوجة وتحلل البيانات مرة أخرى، وتعيد الكائن (يجب ألا تسبب خطأ عند تلك المدخلات غير المنظمة). تعيد validate_record(obj, schema) قيمة {"ok": bool, "errors": [..]}: خطأ "missing: <field>" لكل حقل مفقود في المخطط وخطأ "wrong type: <field>" لكل عدم تطابق في النوع، مع قيمة ok صحيحة فقط عندما لا توجد أخطاء. ارفض JSON true حيث يكون int مطلوبا (bool ليس int هنا)، وقبل int حيث يكون float متوقعا.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.