تعمیر JSON مدل معیوب
مدلها صادرکنندههای JSON بینقصی نیستند. حتی در حالت JSON خروجی را در ```json fences، اضافه کردن یک مقدمهٔ محاورهای («حتماً! این هم دادهها:»)، گذاشتن ویرگول انتهایی، یا استفاده از گیومهٔ تکی. یک خالی json.loads در همهٔ این موارد خطا پرتاب میکند و در محیط تولید این یعنی یک درخواست ناموفق. یک مرحلهٔ تعمیر کوچک قبل از اینکه تسلیم شوید و دوباره مدل را فراخوانی کنید، بیشتر این خطاها را بهسادگی برطرف میکند.
شکل یک مسیر مقاوم به این صورت است:
text = call_model(prompt) # may be fenced / prose-wrapped / sloppy
try:
data = json.loads(text)
except ValueError:
data = repair_json(text) # one cheap repair attempt before re-promptingشما در حال ساختن repair_json(text). آن را گام به گام از این مراحل عبور دهید و به محض اینکه json.loads موفق میشود:
- حصار کد را بردارید. اگر کل آن در
```(اختیاری```json)، فقط بخش داخلی را نگه دارید. یک regex مانند^```[a-zA-Z]*\s*(.*?)\s*```$باre.DOTALLاین کار را انجام میدهد. - متن اطراف را حذف کنید. اولین را پیدا کنید
{یا[و آخرین تطابقیافته}یا]، و فقط آن محدوده را برش دهید. این کار عبارت «حتماً! این هم...» را قبل و هر گفتگوی اضافی بعد از آن حذف میکند. - همانطور که هست امتحان کن. بسیاری از رشتهها اکنون معتبر هستند -> زودتر بازگرد.
- ابتدا سادهترین خرابی را رفع کنید: ویرگولهای انتهایی را با
re.sub(r",(\s*[}\]])", r"\1", s)، سپسjson.loadsدوباره. - راه حل نهایی: نقلقولهای تکی را به نقلقولهای دوبل تبدیل کنید و یک بار دیگر امتحان کنید.
- اگر هنوز پارس نمیشود، یک
ValueError-> هرگز خروجی بیمعنی ندهید. یک رشته غیرقابل تعمیر سیگنال است برای درخواست مجدد، نه حدس زدن.
چرا تعویض گیومه در آخر انجام میشود: این کار همچنین آپاستروفهای داخل مقادیر رشتهای را نیز بازنویسی میکند، بنابراین {"note": "it's fine",} اگر ابتدا نقلقولها را جابجا کنید، این کار باعث خرابی میشود، در حالی که تنها حذف ویرگول مشکل را حل میکند. خروجی مدل اغلب شامل آپاستروف (apostrophes) است (مانند نامهایی مثل O'Brien، کلماتی مانند it's)، بنابراین قبل از روشی که ممکن است به مقادیر آسیب برساند، روشهایی را امتحان کنید که نمیتوانند آسیبی وارد کنند. حتی در این صورت، این اولین خط دفاعی است؛ وقتی یک پاسخ واقعی قابل پردازش نباشد، درخواست مجدد (یا خروجیهای ساختاریافته که مدل را به تولید JSON معتبر محدود میکنند) از ترمیمهای هوشمندانهتر بهتر است. اطمینان حاصل کنید که JSON سالم دستنخورده باقی میماند، true/false بهصورت پایتون باقی بماند True/False، و یک رشته بدون JSON قابل بازیابی را بازگردانند.
نوشتن repair_json(text) که یک ```/```json محوطهٔ کد، هر متن منثور را قبل از اولین {/[ و پس از آخرین تطابقیافته }/]، سپس تلاش میکند json.loads؛ در صورت خطا، ویرگولهای انتهایی را حذف کرده و دوباره تلاش میکند؛ تنها اگر این بار هم شکست بخورد، نقلقولهای تکی را به نقلقولهای جفتی تبدیل کرده و یک بار دیگر تلاش میکند (تعویض نقلقول در آخر انجام میشود زیرا همچنین آپاستروفهای داخل مقادیر را بازنویسی میکند)؛ اگر هنوز هم پارس نشود، یک ValueError. JSON تمیز باید بدون تغییر عبور کند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.