Dự án cuối: Một báo cáo đánh giá truy xuất
Bạn đã có bốn thước đo. Giờ hãy nối chúng vào thứ mà một kỹ sư thật sự đưa vào sản phẩm: một báo cáo đánh giá truy xuất chạy một tập truy vấn có nhãn qua một bộ truy xuất và trả về một bảng điểm. Đây là sản phẩm đứng sau dòng chữ trong hồ sơ "đã xây và đánh giá một pipeline RAG", và nó là thứ cho phép bạn nói "bộ truy xuất mới nâng MRR từ 0.62 lên 1.0" thay vì "có vẻ tốt hơn".
Bộ đánh giá có ba phần chuyển động. Một tập đánh giá là một list các trường hợp, mỗi cái là một dict như {"query": "refund policy", "relevant": {"d_refund"}}. Một bộ truy xuất là bất kỳ callable retriever(query, k) nào trả về một list ID tài liệu có thứ hạng (bạn truyền nó vào, nên cùng một báo cáo có thể chấm một mốc BM25, một bộ truy xuất dense, hay một bộ lai). Và báo cáo chấm mọi truy vấn trên cả bốn thước đo, rồi tổng hợp.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Với NDCG trên các ID đã truy xuất, biến thứ hạng thành mức độ liên quan có thang bậc theo cách đơn giản: một tài liệu được 1 nếu nó nằm trong tập liên quan, nếu không thì 0. Dùng lại các hàm bạn đã xây: precision_at_k, recall_at_k, reciprocal_rank, dcg, và ndcg_at_k.
Cần xây gì. evaluate_retrieval(eval_set, retriever, k) trả về một dict với:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> trung bình của mỗi thước đo qua các truy vấn, mỗi cái đượcroundtới 4 chữ số.per_query-> mộtpandas.DataFrame, một hàng mỗi truy vấn, mang các thước đo của truy vấn đó (để bạn liếc xem truy vấn nào sụp).failures-> một list các truy vấn có hạng nghịch đảo là0.0(bộ truy xuất không đưa lên được gì liên quan). Đây là danh sách việc gỡ lỗi của bạn.
Bộ chấm kiểm tra các con số tổng hợp so với giá trị tính tay, xác nhận danh sách thất bại nêu đúng truy vấn bị bỏ sót, và chứng minh một bộ truy xuất tốt hơn được điểm cao hơn hẳn -> phép kiểm tra quan hệ mà không hằng số nào giả mạo được. Trong một hệ thống đầy đủ, một mô hình sẽ trả lời từ các đoạn mà bộ truy xuất thắng cuộc trả về, nhưng bước sinh văn bản đó là nửa kia của pipeline; ở đây bạn đang chấm riêng phần truy xuất. Bấm Chạy để in một bảng điểm.
Viết evaluate_retrieval(eval_set, retriever, k). eval_set là một list các dict {"query", "relevant"}; retriever(query, k) trả về một list ID tài liệu có thứ hạng. Với mỗi truy vấn, chấm precision_at_k, recall_at_k, reciprocal_rank, và ndcg_at_k (coi một tài liệu truy xuất là mức liên quan 1 nếu nó nằm trong tập liên quan, nếu không là 0, và tạo mức lý tưởng từ toàn bộ tập liên quan: một số 1 cho mỗi tài liệu liên quan). Trả về một dict với mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (mỗi cái làm tròn tới 4 chữ số), một DataFrame pandas per_query (một hàng mỗi truy vấn), và một list failures gồm mọi truy vấn có hạng nghịch đảo là 0.0.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.