سرفصل‌ها درس 220 از 250 · پروژه: سرویس اطلاعات
پروژه: سرویس اطلاعات

اعتبارسنجی بر اساس اسکیما + تعمیر JSON

پارسر شما یک dict تولید می‌کند، اما در یک خط لوله واقعی داده‌ها اغلب به صورت متن JSON از یک سرویس بالادست، یک فایل ذخیره شده یا یک LLM که به آن گفته شده «JSON را بازگردان» ارسال می‌شوند. دو مشکل همیشه رخ می‌دهد و این درس هر دو را پوشش می‌دهد: JSON نامنظم است و JSON منظم اما نادرست است.

بخش اول: تعمیر JSON. مدل‌ها دوست دارند JSON را در ```json محوطه‌های کدی، گذاشتن ویرگول انتهایی، یا استفاده از گیومهٔ تکی. خام json.loads در همه این موارد خطا پرتاب می‌کند. بنویسید repair_json(text) که متن را تمیز می‌کند، سپس آن را تجزیه می‌کند -> و شیء پایتون را بازمی‌گرداند. مراحل تعمیر، به ترتیب:

  • حصارکشی‌های کد مارک‌داون را حذف کنید: یک کامای ابتدایی را حذف کنید ```json یا ``` و یک کامای انتهایی ```.
  • حذف ویرگول‌های اضافی قبل از یک } یا ] (یک regex مانند re.sub(r",\s*([}\]])", r"\1", text)).
  • Try json.loads روی رشتهٔ تمیز‌شده. فقط اگر این کار شکست بخورد، گیوت‌های تکی را به گیوت‌های مضاعف تبدیل کرده و دوباره امتحان کنید (پارس کردن اول یعنی یک آپاستروف داخل یک مقدار، مانند O'Brienهرگز دستکاری نمی‌شود).
  • نتیجهٔ تجزیه‌شده را بازگردانید.

تمام نکته این است که repair_json نباید روی ورودی‌های نامنظم که تست‌ها به آن می‌دهند خطا بدهد -> در عوض تعمیر و تجزیه می‌کند به جای اینکه از کار بیفتد.

بخش دوم: اعتبارسنجی بر اساس یک طرحواره. حالا که یک شیء دارید، آیا شکل درستی دارد؟ بنویسید validate_record(obj, schema) -> یک dict {"ok": bool, "errors": [..]}. The schema هر نام فیلد الزامی را به یک نوع پایتون نگاشت می‌کند، مانند:

schema = {"vendor": str, "total": float, "line_items": list}

برای هر فیلد در اسکیما: اگر در obj، یک رشته خطا اضافه کنید "missing: <field>"; اگر موجود باشد اما نوع آن نادرست باشد، اضافه کنید "wrong type: <field>". ok است True فقط زمانی که errors خالی است.

یک تیغهٔ تیز که همه را می‌زند: در پایتون bool یک زیرکلاس از int، بنابراین isinstance(True, int) است True. یک اسکیما که درخواست یک int باید یک JSON را رد کند. از آن محافظت کنید: وقتی نوع مورد انتظار true. آن را محافظت کنید: وقتی نوع مورد انتظار int، همچنین نیاز است not isinstance(value, bool). برای فیلدهای Float معمولاً اعداد صحیح ارسال می‌شود، بنابراین یک int که یک float انتظار می‌رود (اما همچنان رد می‌کند bool).

این دو تابع با هم نگهبان خط لوله هستند: هیچ دادهٔ بدشکل یا نادرست نمی‌تواند عبور کند. دکمهٔ Run را فشار دهید تا یک بلاب با کامای انتهایی محصور را تعمیر کرده و نتیجه را اعتبارسنجی کنید.

نوبت شما

دو تابع بنویسید. repair_json(text) حصارهای کد مارک‌داون را حذف می‌کند، ویرگول‌های انتهایی قبل از }/]، سعی می‌کند json.loads، و تنها در صورتی که این کار شکست بخورد، گیوتین‌های تکی را به گیوتین‌های دوتایی تبدیل کرده و دوباره پارس می‌کند و شیء را برمی‌گرداند (نباید برای این ورودی‌های به‌هم‌ریخته خطا ایجاد کند). validate_record(obj, schema) بازمی‌گرداند {"ok": bool, "errors": [..]}: a "missing: <field>" خطا به ازای هر فیلد اسکیما که وجود ندارد و یک "wrong type: <field>" یک خطا به ازای هر ناسازگاری نوع، با ok فقط زمانی که هیچ خطایی وجود نداشته باشد مقدار true برمی‌گرداند. یک JSON را رد می‌کند true که یک int الزامی است (bool در اینجا عدد نیست)، و یک int جایی که یک float انتظار می‌رود.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.