Müfredat 250 dersinden 163. · RAG ve Retrieval Değerlendirmesi
RAG ve Retrieval Değerlendirmesi

NDCG@k: Derecelendirilmiş Alaka

Precision, recall ve MRR hepsi alaka düzeyini evet/hayır bayrağı olarak ele alır. Ama gerçek alaka düzeyi farklı tonlara sahiptir: bir belge mükemmel, biraz yararlı veya konu dışı olabilir. NDCG (Normalized Discounted Cumulative Gain) derecelendirilmiş alaka için metriktir ve büyük arama ve öneri ekiplerinin gerçekten raporladığı budur.

Üç fikir üst üste biniyor. İlk olarak, gain: her sonuç bir alaka puanı taşır (örneğin 3 = mükemmel, 1 = marjinal, 0 = ilgisiz). İkinci olarak, konumdan kaynaklanan bir discount vardır, çünkü 10. sıradaki gömülü harika bir sonuç, 1. sıradakinden daha az yardımcı olur. Discounted Cumulative Gain, her sonucun gain değerini log2(position + 1):

değerine bölerek toplar.
DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

1 konumunda bölen log2(2) = 1 (indirim yok); 2 konumunda log2(3); ve bu şekilde devam ediyor, yani sonraki konumlar sürekli olarak daha az değer taşıyor. Üçüncü olarak, normalization: DCG tek başına sınırsızdır ve sorgular arasında karşılaştırılması zordur, bu yüzden ideal DCG (IDCG) değerine bölün. Bu, aynı alaka puanları en iyiden en kötüye doğru sıralandığında elde edeceğiniz DCG değeridir.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Bu, her sorguyu 0.0'den 1.0 ölçeğine koyar ve 1.0 "zaten mümkün olan en iyi sırada" anlamına gelir. Tersine çevrilmiş bir sıralama kesin olarak 1.0'nin altında puan alır; tümü sıfır (ilgili hiçbir şey yok) olan bir sıralama 0.0 olarak tanımlanır.

Ne yapacağın.

  • dcg(rels) -> 1'den başlayan i ile math.log2(i + 1) kullanarak, bir ilgili puan listesinin indirimli kümülatif kazancı.
  • ndcg_at_k(ranked_rels, k) -> sıralanan (ideal) azalan dcg içindeki aynı puanların k üstündeki dcg bölünümü (üst k). Eğer ideal DCG 0 ise, sıfıra bölmek yerine 0.0 döndür.

El ile kontrol et: dcg([3, 0, 2]) bir 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0'dir. Mükemmel bir sıralamayı tersine çevrilmiş bir tanesiyle karşılaştırmak için Run tuşuna bas.

Senin sıran

i konumları 1'den sayılmak üzere indirgenmiş kümülatif kazancı sum(rel_i / log2(i + 1)) döndüren dcg(rels) yaz. Sonra ilk k'nın dcg'sini ideal DCG'ye bölerek döndüren ndcg_at_k(ranked_rels, k, ideal_rels=None) yaz: ideal DCG, her değerlendirilmiş belgenin ilgi puanlarının azalan sıralanmış ilk k'sıdır. Bunlar verildiğinde ideal_rels'ten gelir; None olduğunda ranked_rels'in kendisini kullan (yalnızca sıralama zaten her ilgili belgeyi içeriyorsa sorun değil). İdeali yalnızca getirilen listeden almak klasik bir hatadır: 3 ilgili belgeden 1'ini 1. sırada bulan bir sistem mükemmel bir 1.0 alırdı. Tamamen sıfır bir sıralama sıfıra bölmesin diye ideal DCG 0 olduğunda 0.0 döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.