NDCG@k: Relevansi Berbobot
Precision, recall, dan MRR semuanya menganggap relevansi sebagai bendera ya/tidak. Tapi relevansi nyata punya tingkatan: sebuah dokumen bisa sempurna, agak berguna, atau tidak nyambung. NDCG (Normalized Discounted Cumulative Gain) adalah metrik untuk relevansi berjenjang, dan inilah yang sebenarnya dilaporkan oleh tim pencarian dan rekomendasi besar.
Ada tiga ide yang ditumpuk. Pertama, gain: setiap hasil membawa skor relevansi (misalnya 3 = sempurna, 1 = marjinal, 0 = tidak relevan). Kedua, discount berdasarkan posisi, karena hasil bagus yang terkubur di peringkat 10 membantu lebih sedikit daripada yang ada di peringkat 1. Discounted Cumulative Gain menjumlahkan gain setiap hasil dibagi log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...Di posisi 1 pembaginya adalah log2(2) = 1 (tanpa diskon); di posisi 2 adalah log2(3); dan seterusnya, jadi posisi selanjutnya nilainya semakin berkurang. Ketiga, normalization: DCG sendirian tidak terbatas dan sulit dibandingkan antar kueri, jadi bagi dengan ideal DCG (IDCG), DCG yang akan kamu dapatkan jika skor relevansi yang sama diurutkan dari terbaik ke terburuk.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Itu menempatkan setiap kueri pada skala 0.0 ke 1.0 di mana 1.0 berarti "sudah dalam urutan terbaik yang mungkin." Peringkat terbalik mendapat skor di bawah 1.0; peringkat nol semua (tidak ada yang relevan) didefinisikan sebagai 0.0.
Apa yang akan dibangun.
dcg(rels)-> discounted cumulative gain dari daftar skor relevansi, menggunakanmath.log2(i + 1)denganimulai dari 1.ndcg_at_k(ranked_rels, k)->dcgdarikteratas dibagi dengandcgdari skor yang sama yang diurutkan menurun (ideal),kteratas. Jika DCG ideal adalah0, kembalikan0.0alih-alih membagi dengan nol.
Cek manual satu: dcg([3, 0, 2]) adalah 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Tekan Run untuk membandingkan urutan sempurna dengan urutan terbalik.
Tulis dcg(rels) yang mengembalikan discounted cumulative gain sum(rel_i / log2(i + 1)) dengan posisi i dihitung dari 1. Lalu tulis ndcg_at_k(ranked_rels, k, ideal_rels=None) yang mengembalikan dcg dari k teratas dibagi DCG ideal: skor relevansi dari every dokumen yang dinilai, diurutkan menurun, k teratas. Itu berasal dari ideal_rels jika diberikan; jika itu None, gunakan ranked_rels itu sendiri (hanya boleh jika peringkat sudah berisi setiap dokumen yang relevan). Mengambil ideal dari daftar hasil pencarian saja adalah bug klasik: sistem yang menemukan 1 dari 3 dokumen relevan, di peringkat 1, akan mendapat skor sempurna 1.0. Kembalikan 0.0 saat DCG ideal adalah 0 agar peringkat yang semuanya nol tidak membagi dengan nol.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.