Precision@k và Recall@k
Trước khi chỉnh một prompt nào, hãy trả lời một câu hỏi khó hơn: bộ truy xuất có tìm được đúng tài liệu không? Một hệ thống RAG có hai nửa, truy xuất và sinh văn bản, và chúng hỏng theo những cách khác nhau. Nếu các đoạn sai được trả về, đánh bóng prompt bao nhiêu cũng không cứu được bạn. Vì vậy ta đo truy xuất riêng, so với một tập tài liệu liên quan đã gắn nhãn cho mỗi truy vấn, bằng hai con số mà mọi kỹ sư tìm kiếm đều thuộc lòng.
Precision@k hỏi: trong k tài liệu đầu tiên tôi trả về, bao nhiêu phần thật sự liên quan? Đó là thước đo "tôi đã cho người dùng xem bao nhiêu rác".
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k hỏi điều ngược lại: trong mọi tài liệu thật sự liên quan, tôi đã đưa được bao nhiêu phần lên k vị trí đầu? Đó là thước đo "tôi đã bỏ sót bao nhiêu".
recall@k = (relevant docs in the top k) / (total number of relevant docs)Làm một ví dụ cụ thể. Bạn truy xuất ["a", "b", "c"] và tập liên quan là {"a", "c"}. Ở k=3, hai trong ba tài liệu trả về là liên quan, nên precision là 2/3. Cả hai tài liệu liên quan đều được tìm thấy, nên recall là 1.0. Hai con số này giằng co nhau: mở rộng k và recall tăng trong khi precision thường giảm.
Cần xây gì. Hai hàm thuần:
precision_at_k(retrieved, relevant, k)-> tỷ lệ các ID trongkkết quả đầu nằm trongrelevant. Chia cho số tài liệu bạn thật sự có trongkvị trí đầu (để một danh sách ngắn hay mộtklớn không bao giờ chia cho sai số).recall_at_k(retrieved, relevant, k)-> tỷ lệ củarelevantđược bắt trongkvị trí đầu, chia cholen(relevant).
Để ý các biên mà bài kiểm tra dò: k lớn hơn danh sách truy xuất, và một tập liên quan rỗng (trả về 0.0, không bao giờ chia cho không). Coi relevant là một set để kiểm tra thành viên nhanh. Trong một bộ đánh giá thật bạn sẽ đưa vào đây đầu ra của vector store; ở đây chúng được chấm trực tiếp trên các list có nhãn.
Một lưu ý về phạm vi: mô-đun này nói về Precision@k, Recall@k, MRR và NDCG. Các nhóm tìm kiếm cũng thường báo cáo MAP (mean average precision), lấy trung bình precision đo được ở mỗi kết quả liên quan trên một tập truy vấn; bốn thước đo ở đây là điểm khởi đầu phổ biến nhất.
Bấm Chạy để chấm điểm một thứ hạng.
Viết precision_at_k(retrieved, relevant, k) (tỷ lệ các ID trong k kết quả đầu nằm trong tập relevant, chia cho số tài liệu thật sự có trong k vị trí đầu) và recall_at_k(retrieved, relevant, k) (tỷ lệ của tập relevant được bắt trong k vị trí đầu, chia cho len(relevant)). Cả hai phải trả về 0.0 ở các biên rỗng (truy xuất rỗng, tập liên quan rỗng) thay vì bị lỗi.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.