Şema ile Doğrula + JSON Onar
Parserın bir dict üretiyor ama gerçek bir pipeline üzerinde veri genellikle JSON metni şeklinde gelir. Yani bir üst servisten, kaydedilmiş bir dosyadan veya "JSON döndür" denilen bir LLM'den gelir. İki şey her zaman yanlış gider ve bu ders her ikisini de ele alır: JSON hatalı yapıdadır ve JSON doğru yapıdadır ama yanlıştır.
Birinci kısım: JSON'ı onar. Modeller JSON'ı ```json kod blokları içine almayı, sonda virgül bırakmayı veya tek tırnak kullanmayı sever. Ham json.loads bunların hepsinde hata verir. Metni temizleyen ve ardından onu ayrıştırıp Python nesnesini döndüren repair_json(text) yaz. Onarım adımları, sırasıyla:
- Markdown kod çitlerini kaldır: baştaki
```jsonveya```ve sondaki```kısmını sil. }veya](re.sub(r",\s*([}\]])", r"\1", text)gibi bir regex) öncesindeki sondaki virgülleri kaldır.- Temizlenmiş string üzerinde
json.loadsdene. Sadece o başarısız olursa, tek tırnakları çift tırnağa çevir ve tekrar dene (önce parsing yapmak,O'Briengibi bir değer içindeki kesme işaretinin asla bozulmaması demektir). - Çözümlenen sonucu döndür.
Bütün mesele repair_jsonmust not raise karmaşık girdilerle karşılaştığında çökmesi değil, onları onarıp ayrıştırmasıdır.
İkinci kısım: bir şemaya göre doğrula. Artık bir nesnen var, doğru yapıda mı? validate_record(obj, schema) -> bir dict {"ok": bool, "errors": [..]} yaz. schema her gerekli alan adını şu gibi bir Python tipine eşler:
schema = {"vendor": str, "total": float, "line_items": list}Şemadaki her alan için: eğer obj içinde eksikse, bir hata dizisi "missing: <field>" ekle; eğer mevcutsa ama yanlış türdeyse, "wrong type: <field>" ekle. ok, sadece errors boş olduğunda True olur.
Herkesi ısıran keskin bir kenar: Python'da bool bir int alt sınıfıdır, bu yüzden isinstance(True, int) bir True'dir. Bir int isteyen bir şema, bir JSON true'yi reject yapmalıdır. Onu koru: beklenen tip int olduğunda, not isinstance(value, bool)'yi de iste. Float alanlarına genellikle tam sayılar verilir, bu yüzden bir float beklenirken bir int kabul et (ama yine de bool'yi reddet).
Bu iki fonksiyon birlikte hattın bekçisidir: bozuk veya yanlış şekillendirilmiş hiçbir şey geçemez. Run tuşuna basarak, sonu virgülle biten bir bloğu onar ve sonucu doğrula.
İki fonksiyon yaz. repair_json(text) Markdown kod çitlerini temizler, }/] öncesindeki sondaki virgülleri kaldırır, json.loads dener ve sadece o başarısız olursa tek tırnakları çift tırnağa çevirip tekrar ayrıştırır ve nesneyi döndürür (bu karmaşık girdilerde hata vermemelidir). validate_record(obj, schema), {"ok": bool, "errors": [..]} döndürür: eksik şema alanı başına bir "missing: <field>" hatası ve tip uyuşmazlığı başına bir "wrong type: <field>" hatası, ok ise sadece hata olmadığında true olur. Bir int gereken bir JSON true reddet (burada bool bir int değildir) ve bir float beklenen bir int kabul et.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.