Validasi terhadap Skema + Perbaiki JSON
Parser kamu menghasilkan dict, tapi pada pipeline asli data sering datang sebagai JSON text -> dari layanan upstream, file yang disimpan, atau LLM yang diperintahkan untuk "return JSON." Dua hal selalu salah, dan pelajaran ini menangani keduanya: JSON-nya malformed, dan JSON-nya well-formed tapi salah.
Bagian pertama: perbaiki JSON. Model suka membungkus JSON dalam ```json code fences, meninggalkan koma di akhir, atau menggunakan tanda kutip tunggal. Raw json.loads akan error pada semua hal ini. Tulis repair_json(text) yang membersihkan teks tersebut, lalu melakukan parsing -> mengembalikan objek Python. Langkah perbaikan, secara berurutan:
- Hapus pembatas kode Markdown: hapus
```jsonatau```di awal dan```di akhir. - Hapus koma di akhir sebelum
}atau](regex sepertire.sub(r",\s*([}\]])", r"\1", text)). - Coba
json.loadspada string yang sudah dibersihkan. Hanya jika itu gagal, ubah tanda kutip tunggal menjadi tanda kutip ganda dan coba lagi (parsing pertama berarti tanda apostrof di dalam nilai, sepertiO'Brien, tidak akan rusak). - Kembalikan hasil yang sudah diparsing.
Intinya adalah repair_json harus tidak menyebabkan error pada input berantakan yang diberikan tes -> ia memperbaiki dan memparsing alih-alih crash.
Bagian kedua: validasi terhadap skema. Sekarang setelah kamu punya objek, apakah bentuknya sudah benar? Tulis validate_record(obj, schema) -> sebuah dict {"ok": bool, "errors": [..]}. schema memetakan setiap nama field yang wajib ke tipe Python, seperti:
schema = {"vendor": str, "total": float, "line_items": list}Untuk setiap field di schema: jika tidak ada di obj, tambahkan string error "missing: <field>"; jika ada tapi tipenya salah, tambahkan "wrong type: <field>". ok adalah True hanya saat errors kosong.
Satu sisi tajam yang menggigit semua orang: di Python bool adalah subclass dari int, jadi isinstance(True, int) adalah True. Skema yang meminta int harus reject JSON true. Lindungi itu: saat tipe yang diharapkan adalah int, minta not isinstance(value, bool) juga. Field Float sering diisi angka bulat, jadi terima int saat float diharapkan (tapi tetap reject bool).
Kedua fungsi ini adalah penjaga pipeline: tidak ada data yang rusak atau salah bentuk yang bisa lolos. Tekan Run untuk memperbaiki blob dengan koma gantung dan validasi hasilnya.
Tulis dua fungsi. repair_json(text) menghapus Markdown code fences, menghapus koma di akhir sebelum }/], mencoba json.loads, dan hanya jika itu gagal mengubah tanda kutip tunggal ke tanda kutip ganda lalu memparsing lagi, mengembalikan objek (jangan sampai error pada input berantakan tersebut). validate_record(obj, schema) mengembalikan {"ok": bool, "errors": [..]}: sebuah "missing: <field>" error untuk setiap field skema yang hilang dan "wrong type: <field>" error untuk setiap ketidakcocokan tipe, dengan ok true hanya jika tidak ada error. Tolak JSON true di mana int dibutuhkan (bool bukan int di sini), dan terima int di mana float diharapkan.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.