NDCG@k: mức độ liên quan có thang bậc
Precision, recall và MRR đều coi mức độ liên quan như một cờ có/không. Nhưng mức độ liên quan thật có nhiều sắc thái: một tài liệu có thể hoàn hảo, hơi hữu ích, hoặc lạc đề. NDCG (Normalized Discounted Cumulative Gain) là thước đo cho mức độ liên quan có thang bậc, và là thước đo mà các nhóm tìm kiếm và gợi ý lớn thật sự báo cáo.
Nó có ba ý tưởng chồng lên nhau. Thứ nhất, lợi ích (gain): mỗi kết quả mang một điểm liên quan (giả sử 3 = hoàn hảo, 1 = sát biên, 0 = không liên quan). Thứ hai, một chiết khấu theo vị trí, vì một kết quả tuyệt vời bị chôn ở hạng 10 giúp ít hơn một cái ở hạng 1. Discounted Cumulative Gain cộng lợi ích của từng kết quả chia cho log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...Ở vị trí 1 số chia là log2(2) = 1 (không chiết khấu); ở vị trí 2 là log2(3); và cứ thế, nên các vị trí sau có giá trị giảm dần đều. Thứ ba, chuẩn hóa: DCG một mình không bị chặn và khó so sánh giữa các truy vấn, nên hãy chia cho DCG lý tưởng (IDCG), DCG bạn sẽ có nếu chính những điểm liên quan đó được sắp từ tốt nhất tới tệ nhất.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Điều đó đặt mọi truy vấn lên thang 0.0 tới 1.0 trong đó 1.0 nghĩa là "đã ở thứ tự tốt nhất có thể". Một thứ hạng đảo ngược được điểm thấp hẳn dưới 1.0; một thứ hạng toàn số không (không có gì liên quan) được định nghĩa là 0.0.
Cần xây gì.
dcg(rels)-> discounted cumulative gain của một list điểm liên quan, dùngmath.log2(i + 1)vớiibắt đầu từ 1.ndcg_at_k(ranked_rels, k)->dcgcủa topkchia chodcgcủa cùng các điểm đó sắp giảm dần (lý tưởng), topk. Nếu DCG lý tưởng là0, trả về0.0thay vì chia cho không.
Tự kiểm tra một cái: dcg([3, 0, 2]) là 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Bấm Chạy để so sánh một thứ tự hoàn hảo với một thứ tự đảo ngược.
Viết dcg(rels) trả về discounted cumulative gain sum(rel_i / log2(i + 1)) với các vị trí i đếm từ 1. Sau đó viết ndcg_at_k(ranked_rels, k, ideal_rels=None) trả về dcg của top k chia cho DCG lý tưởng: các điểm liên quan của mọi tài liệu đã được đánh giá, sắp giảm dần, top k. Chúng đến từ ideal_rels khi được cho; khi nó là None, dùng chính ranked_rels (chỉ ổn khi thứ hạng đã chứa mọi tài liệu liên quan). Lấy mức lý tưởng chỉ từ danh sách truy xuất là một lỗi kinh điển: một hệ thống tìm được 1 trong 3 tài liệu liên quan, ở hạng 1, sẽ được điểm hoàn hảo 1.0. Trả về 0.0 khi DCG lý tưởng là 0 để một thứ hạng toàn số không không chia cho không.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.