Chương trình học Bài 162 trên tổng số 250 · Đánh giá RAG và truy xuất
Đánh giá RAG và truy xuất

Mean Reciprocal Rank

Precision và recall coi k vị trí đầu là một cái túi: một tài liệu liên quan ở vị trí 1 được tính như một cái ở vị trí 5. Nhưng thứ hạng quan trọng. Người dùng đọc từ trên xuống, và một prompt RAG thường dựa nặng nhất vào đoạn đầu tiên. Mean Reciprocal Rank (MRR) thưởng cho việc đưa một kết quả liên quan lên cao.

Với một truy vấn, hạng nghịch đảo là 1 / (rank of the first relevant doc) (hạng của tài liệu liên quan đầu tiên), đếm hạng từ 1. Nếu tài liệu liên quan đầu tiên ở vị trí 1 bạn được 1.0; ở vị trí 2 bạn được 0.5; ở vị trí 3, 1/3. Nếu không có tài liệu liên quan nào xuất hiện, điểm là 0.0. Chỉ lần trúng đầu tiên mới quan trọng, đúng là mô hình phù hợp cho câu "câu trả lời có hiện ra ở chỗ người dùng (hoặc mô hình) sẽ nhìn không?"

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR chỉ là trung bình của các hạng nghịch đảo đó trên cả một tập truy vấn. Hai truy vấn được 1.0 và 0.5 cho MRR là 0.75. Đó là con số tiêu đề chuẩn cho truy xuất hỏi đáp, nơi mỗi truy vấn thường có một câu trả lời đúng mà bạn muốn đưa lên đầu tiên.

Cần xây gì.

  • reciprocal_rank(retrieved, relevant) -> đi qua list có thứ hạng, và ngay khi gặp một tài liệu trong relevant thì trả về 1.0 / rank (hạng bắt đầu từ 1). Nếu không bao giờ gặp, trả về 0.0.
  • mrr(queries) -> queries là một list các cặp (retrieved, relevant); lấy trung bình hạng nghịch đảo của mỗi cặp. Một list rỗng trả về 0.0, không bị lỗi.

Dùng enumerate(retrieved, start=1) để chỉ số chính là hạng. Bấm Chạy để chấm hai truy vấn và xem trung bình.

Đến lượt bạn

Viết reciprocal_rank(retrieved, relevant) trả về 1.0 / (rank of the first relevant doc) (hạng của tài liệu liên quan đầu tiên) với hạng đếm từ 1, hoặc 0.0 nếu không truy xuất được tài liệu liên quan nào. Sau đó viết mrr(queries) trong đó queries là một list các cặp (retrieved, relevant), trả về trung bình các hạng nghịch đảo của chúng (và 0.0 cho một list rỗng).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.