Silabus Pelajaran 163 dari 250 · Mengevaluasi RAG & Retrieval
Mengevaluasi RAG & Retrieval

NDCG@k: Relevansi Berbobot

Precision, recall, dan MRR semuanya menganggap relevansi sebagai bendera ya/tidak. Tapi relevansi nyata punya tingkatan: sebuah dokumen bisa sempurna, agak berguna, atau tidak nyambung. NDCG (Normalized Discounted Cumulative Gain) adalah metrik untuk relevansi berjenjang, dan inilah yang sebenarnya dilaporkan oleh tim pencarian dan rekomendasi besar.

Ada tiga ide yang ditumpuk. Pertama, gain: setiap hasil membawa skor relevansi (misalnya 3 = sempurna, 1 = marjinal, 0 = tidak relevan). Kedua, discount berdasarkan posisi, karena hasil bagus yang terkubur di peringkat 10 membantu lebih sedikit daripada yang ada di peringkat 1. Discounted Cumulative Gain menjumlahkan gain setiap hasil dibagi log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

Di posisi 1 pembaginya adalah log2(2) = 1 (tanpa diskon); di posisi 2 adalah log2(3); dan seterusnya, jadi posisi selanjutnya nilainya semakin berkurang. Ketiga, normalization: DCG sendirian tidak terbatas dan sulit dibandingkan antar kueri, jadi bagi dengan ideal DCG (IDCG), DCG yang akan kamu dapatkan jika skor relevansi yang sama diurutkan dari terbaik ke terburuk.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Itu menempatkan setiap kueri pada skala 0.0 ke 1.0 di mana 1.0 berarti "sudah dalam urutan terbaik yang mungkin." Peringkat terbalik mendapat skor di bawah 1.0; peringkat nol semua (tidak ada yang relevan) didefinisikan sebagai 0.0.

Apa yang akan dibangun.

  • dcg(rels) -> discounted cumulative gain dari daftar skor relevansi, menggunakan math.log2(i + 1) dengan i mulai dari 1.
  • ndcg_at_k(ranked_rels, k) -> dcg dari k teratas dibagi dengan dcg dari skor yang sama yang diurutkan menurun (ideal), k teratas. Jika DCG ideal adalah 0, kembalikan 0.0 alih-alih membagi dengan nol.

Cek manual satu: dcg([3, 0, 2]) adalah 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Tekan Run untuk membandingkan urutan sempurna dengan urutan terbalik.

Giliranku

Tulis dcg(rels) yang mengembalikan discounted cumulative gain sum(rel_i / log2(i + 1)) dengan posisi i dihitung dari 1. Lalu tulis ndcg_at_k(ranked_rels, k, ideal_rels=None) yang mengembalikan dcg dari k teratas dibagi DCG ideal: skor relevansi dari every dokumen yang dinilai, diurutkan menurun, k teratas. Itu berasal dari ideal_rels jika diberikan; jika itu None, gunakan ranked_rels itu sendiri (hanya boleh jika peringkat sudah berisi setiap dokumen yang relevan). Mengambil ideal dari daftar hasil pencarian saja adalah bug klasik: sistem yang menemukan 1 dari 3 dokumen relevan, di peringkat 1, akan mendapat skor sempurna 1.0. Kembalikan 0.0 saat DCG ideal adalah 0 agar peringkat yang semuanya nol tidak membagi dengan nol.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.