Đánh giá hàng loạt trên các tài liệu đã gắn nhãn
Bạn có thể phân tích, kiểm tra và đối soát một tài liệu đơn lẻ. Câu hỏi mà người quản lý tuyển dụng thực sự đặt ra là: nó tốt đến mức nào trên hàng nghìn tài liệu? Bạn trả lời câu hỏi đó theo cách mà mọi nhóm ML và dữ liệu nghiêm túc đều làm -> với một eval. Bạn lấy một lô tài liệu đã được dán nhãn thủ công (bộ gold), chạy bộ trích xuất của bạn qua chúng, và đo lường tần suất mỗi trường dữ liệu cho ra kết quả đúng. Không có eval, không có uy tín.
Viết evaluate(predictions, gold). Cả hai đều là danh sách các dict có cùng độ dài, khớp nhau theo vị trí -> predictions[i] là đầu ra của extractor cho tài liệu có đáp án đúng là gold[i]. So sánh chúng từng field một và trả về một bản tóm tắt:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}Các quy tắc:
- Tập hợp các trường cần chấm điểm là hợp của mọi key xuất hiện trong các gold records. (Trường bị thiếu trong một prediction sẽ được tính là sai cho trường đó.) Trường
- A là correct khi giá trị dự đoán bằng với giá trị gold. Sử dụng
.get(field)trên prediction để một key bị thiếu được so sánh làNonethay vì gây crash. accuracylà tổng số trường chính xác chia cho tổng số trường so sánh (số lượng tài liệu nhân với số trường), làm tròn đến 4 chữ số thập phân.- An toàn với tập rỗng: nếu
goldrỗng, trả về{"accuracy": 0.0, "per_field": {}, "n": 0}-> không bao giờ chia cho không.
pandas giúp việc quản lý dữ liệu gọn gàng hơn nếu bạn muốn -> hãy xây dựng một DataFrame cho số lần xuất hiện của mỗi trường và tính tổng các cột -> nhưng một vài vòng lặp dict đơn giản cũng tốt tương đương. Đừng dùng seed ở đây; lô dữ liệu là cố định, nên độ chính xác của bạn là một con số mà người chấm có thể kiểm tra chính xác.
Điều này hoàn tất quy trình Document Intelligence Service của bạn: extract -> repair -> validate -> reconcile -> measure. "Tôi đã xây dựng một pipeline trích xuất có kiểm tra schema với đối soát và bộ khung đánh giá cấp trường" là câu nói giúp bạn có được buổi phỏng vấn thứ hai. Nhấn Run để chấm điểm một lô dữ liệu nhỏ có nhãn.
Viết evaluate(predictions, gold) trên hai danh sách các dict bản ghi được căn chỉnh vị trí. Chấm điểm mọi trường trong tập hợp các khóa của các bản ghi chuẩn; một trường là đúng khi prediction.get(field) == gold[field] (một khóa bị thiếu được so sánh là None). Trả về {"accuracy", "per_field", "n"} nơi accuracy là tổng số trường đúng trên tổng số trường được so sánh (làm tròn đến 4 chữ số thập phân), per_field[field] là {"correct", "total"}, và n là số lượng tài liệu. Nếu gold trống, trả về {"accuracy": 0.0, "per_field": {}, "n": 0} (không chia cho không).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.