Müfredat 250 dersinden 220. · Proje: Document Intelligence Service
Proje: Document Intelligence Service

Şema ile Doğrula + JSON Onar

Parserın bir dict üretiyor ama gerçek bir pipeline üzerinde veri genellikle JSON metni şeklinde gelir. Yani bir üst servisten, kaydedilmiş bir dosyadan veya "JSON döndür" denilen bir LLM'den gelir. İki şey her zaman yanlış gider ve bu ders her ikisini de ele alır: JSON hatalı yapıdadır ve JSON doğru yapıdadır ama yanlıştır.

Birinci kısım: JSON'ı onar. Modeller JSON'ı ```json kod blokları içine almayı, sonda virgül bırakmayı veya tek tırnak kullanmayı sever. Ham json.loads bunların hepsinde hata verir. Metni temizleyen ve ardından onu ayrıştırıp Python nesnesini döndüren repair_json(text) yaz. Onarım adımları, sırasıyla:

  • Markdown kod çitlerini kaldır: baştaki ```json veya ``` ve sondaki ``` kısmını sil.
  • } veya ] (re.sub(r",\s*([}\]])", r"\1", text) gibi bir regex) öncesindeki sondaki virgülleri kaldır.
  • Temizlenmiş string üzerinde json.loads dene. Sadece o başarısız olursa, tek tırnakları çift tırnağa çevir ve tekrar dene (önce parsing yapmak, O'Brien gibi bir değer içindeki kesme işaretinin asla bozulmaması demektir).
  • Çözümlenen sonucu döndür.

Bütün mesele repair_jsonmust not raise karmaşık girdilerle karşılaştığında çökmesi değil, onları onarıp ayrıştırmasıdır.

İkinci kısım: bir şemaya göre doğrula. Artık bir nesnen var, doğru yapıda mı? validate_record(obj, schema) -> bir dict {"ok": bool, "errors": [..]} yaz. schema her gerekli alan adını şu gibi bir Python tipine eşler:

schema = {"vendor": str, "total": float, "line_items": list}

Şemadaki her alan için: eğer obj içinde eksikse, bir hata dizisi "missing: <field>" ekle; eğer mevcutsa ama yanlış türdeyse, "wrong type: <field>" ekle. ok, sadece errors boş olduğunda True olur.

Herkesi ısıran keskin bir kenar: Python'da bool bir int alt sınıfıdır, bu yüzden isinstance(True, int) bir True'dir. Bir int isteyen bir şema, bir JSON true'yi reject yapmalıdır. Onu koru: beklenen tip int olduğunda, not isinstance(value, bool)'yi de iste. Float alanlarına genellikle tam sayılar verilir, bu yüzden bir float beklenirken bir int kabul et (ama yine de bool'yi reddet).

Bu iki fonksiyon birlikte hattın bekçisidir: bozuk veya yanlış şekillendirilmiş hiçbir şey geçemez. Run tuşuna basarak, sonu virgülle biten bir bloğu onar ve sonucu doğrula.

Senin sıran

İki fonksiyon yaz. repair_json(text) Markdown kod çitlerini temizler, }/] öncesindeki sondaki virgülleri kaldırır, json.loads dener ve sadece o başarısız olursa tek tırnakları çift tırnağa çevirip tekrar ayrıştırır ve nesneyi döndürür (bu karmaşık girdilerde hata vermemelidir). validate_record(obj, schema), {"ok": bool, "errors": [..]} döndürür: eksik şema alanı başına bir "missing: <field>" hatası ve tip uyuşmazlığı başına bir "wrong type: <field>" hatası, ok ise sadece hata olmadığında true olur. Bir int gereken bir JSON true reddet (burada bool bir int değildir) ve bir float beklenen bir int kabul et.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.