Kiểm tra theo Schema + Sửa lỗi JSON
Trình phân tích của bạn tạo ra một dict, nhưng trên một pipeline thực tế dữ liệu thường đến dưới dạng JSON text từ một dịch vụ thượng nguồn, một file đã lưu, hoặc một LLM được yêu cầu "return JSON." Hai vấn đề luôn xảy ra, và bài học này xử lý cả hai: JSON bị malformed, và JSON bị well-formed nhưng sai.
Phần một: sửa lỗi JSON. Các mô hình thường thích bao JSON trong ```json code fences, để lại dấu phẩy thừa, hoặc dùng dấu nháy đơn. Dữ liệu json.loads thô sẽ bị lỗi với tất cả những điều này. Hãy viết repair_json(text) để làm sạch văn bản, sau đó phân tích nó và trả về đối tượng Python. Các bước sửa lỗi, theo thứ tự:
- Loại bỏ các dấu bao mã Markdown: xóa
```jsonhoặc```ở đầu và```ở cuối. - Xóa các dấu phẩy thừa trước một
}hoặc](một regex nhưre.sub(r",\s*([}\]])", r"\1", text)). - Thử
json.loadstrên chuỗi đã làm sạch. Chỉ khi việc đó thất bại, hãy đổi dấu nháy đơn thành dấu nháy kép và thử lại (việc phân tích trước có nghĩa là một dấu nháy đơn bên trong một giá trị, nhưO'Brien, sẽ không bao giờ bị làm hỏng). - Trả về kết quả đã phân tích.
Mục đích chính là repair_jsonphải không gây ra lỗivới các đầu vào lộn xộn mà các bài kiểm tra đưa vào -> nó sẽ sửa lỗi và phân tích thay vì bị treo.
Phần hai: kiểm tra với một schema.Bây giờ bạn đã có một đối tượng, nó có đúng cấu trúc không? Hãy viết validate_record(obj, schema) -> một dict {"ok": bool, "errors": [..]}. schema ánh xạ mỗi tên trường bắt buộc với một kiểu dữ liệu Python, ví dụ:
schema = {"vendor": str, "total": float, "line_items": list}Với mỗi trường trong schema: nếu nó thiếu trong obj, hãy thêm chuỗi lỗi "missing: <field>"; nếu nó có mặt nhưng sai kiểu, hãy thêm "wrong type: <field>". ok là True chỉ khi errors trống.
Một cạnh sắc bén gây khó cho mọi người: trong Python bool là một subclass của int, vì vậy isinstance(True, int) là True. Một schema yêu cầu một int phải reject một JSON true. Hãy bảo vệ nó: khi kiểu mong đợi là int, cũng yêu cầu not isinstance(value, bool). Các trường Float thường được nạp số nguyên, vì vậy hãy chấp nhận một int nơi một float được mong đợi (nhưng vẫn từ chối bool).
Hai hàm này cùng nhau đóng vai trò là người gác cổng của pipeline: không có gì sai cấu trúc hay sai hình dạng có thể lọt qua được. Nhấn Run để sửa một khối dữ liệu có dấu phẩy thừa ở cuối và kiểm tra kết quả.
Viết hai hàm. repair_json(text) loại bỏ các dấu bao mã Markdown, xóa các dấu phẩy thừa trước }/], thử json.loads, và chỉ khi thất bại mới chuyển đổi dấu nháy đơn thành dấu nháy kép rồi phân tích lại, trả về đối tượng (nó KHÔNG được gây lỗi với các đầu vào lộn xộn đó). validate_record(obj, schema) trả về {"ok": bool, "errors": [..]}: một lỗi "missing: <field>" cho mỗi trường schema bị thiếu và một lỗi "wrong type: <field>" cho mỗi lỗi sai kiểu, với ok đúng chỉ khi không có lỗi nào. Từ chối một JSON true nơi một int là bắt buộc (bool không phải là int ở đây), và chấp nhận một int nơi một float được mong đợi.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.