पाठ्यक्रम 250 में से पाठ 220 · प्रोजेक्ट: दस्तावेज़ समझने वाली सेवा
प्रोजेक्ट: दस्तावेज़ समझने वाली सेवा

schema के सामने जाँचें + JSON की मरम्मत

आपका parser एक dict बनाता है, पर असली pipeline पर डेटा अक्सर JSON टेक्स्ट के रूप में आता है -> ऊपर की किसी सेवा, एक सेव की फ़ाइल, या ऐसे LLM से जिसे "JSON लौटाओ" कहा गया। दो चीज़ें हमेशा ग़लत होती हैं, और यह पाठ दोनों सँभालता है: JSON बिगड़ा है, और JSON सही रूप का पर ग़लत है।

भाग एक: JSON की मरम्मत करें। मॉडल JSON को ```json code fences में लपेटना, आख़िरी कॉमा छोड़ना, या single quotes इस्तेमाल करना पसंद करते हैं। कच्चा json.loads इन सब पर error उठाता है। repair_json(text) लिखें जो टेक्स्ट साफ़ करे, फिर उसे parse करे -> Python ऑब्जेक्ट लौटाते हुए। मरम्मत के क़दम, क्रम से:

  • Markdown code fences हटाएँ: शुरुआती ```json या ``` और आख़िरी ``` हटाएँ।
  • } या ] से पहले के आख़िरी कॉमा हटाएँ (re.sub(r",\s*([}\]])", r"\1", text) जैसा regex)।
  • साफ़ की स्ट्रिंग पर json.loads आज़माएँ। सिर्फ़ उसके विफल होने पर single quotes को double quotes में बदलें और दोबारा आज़माएँ (पहले parse करने का मतलब है मान के अंदर का apostrophe, जैसे O'Brien, कभी नहीं बिगड़ता)।
  • parse किया नतीजा लौटाएँ।

पूरी बात यह है कि टेस्ट जो बिखरे इनपुट देते हैं उन पर repair_json को error नहीं उठाना चाहिए -> यह क्रैश होने के बजाय मरम्मत करके parse करता है।

भाग दो: schema के सामने जाँचें। अब जब आपके पास एक ऑब्जेक्ट है, क्या उसका आकार सही है? validate_record(obj, schema) लिखें -> एक dict {"ok": bool, "errors": [..]}। schema हर ज़रूरी field नाम को एक Python प्रकार से जोड़ता है, जैसे:

schema = {"vendor": str, "total": float, "line_items": list}

schema के हर field के लिए: अगर वह obj से ग़ायब है, तो एक error स्ट्रिंग "missing: <field>" जोड़ें; अगर मौजूद है पर ग़लत प्रकार का, तो "wrong type: <field>" जोड़ें। ok सिर्फ़ तब True है जब errors ख़ाली हो।

एक धारदार किनारा जो हर किसी को काटता है: Python में bool int की सबक्लास है, इसलिए isinstance(True, int) True है। int माँगने वाले schema को JSON true अस्वीकार करना होगा। बचाव करें: जब अपेक्षित प्रकार int हो, तो not isinstance(value, bool) भी ज़रूरी करें। float fields को अक्सर पूर्ण संख्याएँ दी जाती हैं, इसलिए जहाँ float अपेक्षित हो वहाँ int स्वीकार करें (पर फिर भी bool अस्वीकार करें)।

मिलकर ये दो फ़ंक्शन pipeline के द्वारपाल हैं: कुछ भी बिगड़ा और कुछ भी ग़लत आकार का पार नहीं होता। fence वाले, आख़िरी-कॉमा वाले गट्ठर की मरम्मत करने और नतीजा जाँचने के लिए Run दबाएँ।

आपकी बारी

दो फ़ंक्शन लिखें। repair_json(text) Markdown code fences हटाता है, }/] से पहले के आख़िरी कॉमा हटाता है, json.loads आज़माता है, और सिर्फ़ उसके विफल होने पर single quotes को double quotes में बदलकर दोबारा parse करता है, ऑब्जेक्ट लौटाते हुए (उन बिखरे इनपुट पर इसे error नहीं उठाना चाहिए)। validate_record(obj, schema) {"ok": bool, "errors": [..]} लौटाता है: हर ग़ायब schema field का एक "missing: <field>" error और हर प्रकार बेमेल का एक "wrong type: <field>" error, ok सिर्फ़ तब true जब कोई error न हो। जहाँ int चाहिए वहाँ JSON true अस्वीकार करें (यहाँ bool int नहीं है), और जहाँ float अपेक्षित हो वहाँ int स्वीकार करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।