Mean Reciprocal Rank
Precision và recall coi k vị trí đầu là một cái túi: một tài liệu liên quan ở vị trí 1 được tính như một cái ở vị trí 5. Nhưng thứ hạng quan trọng. Người dùng đọc từ trên xuống, và một prompt RAG thường dựa nặng nhất vào đoạn đầu tiên. Mean Reciprocal Rank (MRR) thưởng cho việc đưa một kết quả liên quan lên cao.
Với một truy vấn, hạng nghịch đảo là 1 / (rank of the first relevant doc) (hạng của tài liệu liên quan đầu tiên), đếm hạng từ 1. Nếu tài liệu liên quan đầu tiên ở vị trí 1 bạn được 1.0; ở vị trí 2 bạn được 0.5; ở vị trí 3, 1/3. Nếu không có tài liệu liên quan nào xuất hiện, điểm là 0.0. Chỉ lần trúng đầu tiên mới quan trọng, đúng là mô hình phù hợp cho câu "câu trả lời có hiện ra ở chỗ người dùng (hoặc mô hình) sẽ nhìn không?"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR chỉ là trung bình của các hạng nghịch đảo đó trên cả một tập truy vấn. Hai truy vấn được 1.0 và 0.5 cho MRR là 0.75. Đó là con số tiêu đề chuẩn cho truy xuất hỏi đáp, nơi mỗi truy vấn thường có một câu trả lời đúng mà bạn muốn đưa lên đầu tiên.
Cần xây gì.
reciprocal_rank(retrieved, relevant)-> đi qua list có thứ hạng, và ngay khi gặp một tài liệu trongrelevantthì trả về1.0 / rank(hạng bắt đầu từ 1). Nếu không bao giờ gặp, trả về0.0.mrr(queries)->querieslà một list các cặp(retrieved, relevant); lấy trung bình hạng nghịch đảo của mỗi cặp. Một list rỗng trả về0.0, không bị lỗi.
Dùng enumerate(retrieved, start=1) để chỉ số chính là hạng. Bấm Chạy để chấm hai truy vấn và xem trung bình.
Viết reciprocal_rank(retrieved, relevant) trả về 1.0 / (rank of the first relevant doc) (hạng của tài liệu liên quan đầu tiên) với hạng đếm từ 1, hoặc 0.0 nếu không truy xuất được tài liệu liên quan nào. Sau đó viết mrr(queries) trong đó queries là một list các cặp (retrieved, relevant), trả về trung bình các hạng nghịch đảo của chúng (và 0.0 cho một list rỗng).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.