NDCG@k: Derecelendirilmiş Alaka
Precision, recall ve MRR hepsi alaka düzeyini evet/hayır bayrağı olarak ele alır. Ama gerçek alaka düzeyi farklı tonlara sahiptir: bir belge mükemmel, biraz yararlı veya konu dışı olabilir. NDCG (Normalized Discounted Cumulative Gain) derecelendirilmiş alaka için metriktir ve büyük arama ve öneri ekiplerinin gerçekten raporladığı budur.
Üç fikir üst üste biniyor. İlk olarak, gain: her sonuç bir alaka puanı taşır (örneğin 3 = mükemmel, 1 = marjinal, 0 = ilgisiz). İkinci olarak, konumdan kaynaklanan bir discount vardır, çünkü 10. sıradaki gömülü harika bir sonuç, 1. sıradakinden daha az yardımcı olur. Discounted Cumulative Gain, her sonucun gain değerini log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ... 1 konumunda bölen log2(2) = 1 (indirim yok); 2 konumunda log2(3); ve bu şekilde devam ediyor, yani sonraki konumlar sürekli olarak daha az değer taşıyor. Üçüncü olarak, normalization: DCG tek başına sınırsızdır ve sorgular arasında karşılaştırılması zordur, bu yüzden ideal DCG (IDCG) değerine bölün. Bu, aynı alaka puanları en iyiden en kötüye doğru sıralandığında elde edeceğiniz DCG değeridir.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Bu, her sorguyu 0.0'den 1.0 ölçeğine koyar ve 1.0 "zaten mümkün olan en iyi sırada" anlamına gelir. Tersine çevrilmiş bir sıralama kesin olarak 1.0'nin altında puan alır; tümü sıfır (ilgili hiçbir şey yok) olan bir sıralama 0.0 olarak tanımlanır.
Ne yapacağın.
dcg(rels)-> 1'den başlayaniilemath.log2(i + 1)kullanarak, bir ilgili puan listesinin indirimli kümülatif kazancı.ndcg_at_k(ranked_rels, k)-> sıralanan (ideal) azalandcgiçindeki aynı puanlarınküstündekidcgbölünümü (üstk). Eğer ideal DCG0ise, sıfıra bölmek yerine0.0döndür.
El ile kontrol et: dcg([3, 0, 2]) bir 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0'dir. Mükemmel bir sıralamayı tersine çevrilmiş bir tanesiyle karşılaştırmak için Run tuşuna bas.
i konumları 1'den sayılmak üzere indirgenmiş kümülatif kazancı sum(rel_i / log2(i + 1)) döndüren dcg(rels) yaz. Sonra ilk k'nın dcg'sini ideal DCG'ye bölerek döndüren ndcg_at_k(ranked_rels, k, ideal_rels=None) yaz: ideal DCG, her değerlendirilmiş belgenin ilgi puanlarının azalan sıralanmış ilk k'sıdır. Bunlar verildiğinde ideal_rels'ten gelir; None olduğunda ranked_rels'in kendisini kullan (yalnızca sıralama zaten her ilgili belgeyi içeriyorsa sorun değil). İdeali yalnızca getirilen listeden almak klasik bir hatadır: 3 ilgili belgeden 1'ini 1. sırada bulan bir sistem mükemmel bir 1.0 alırdı. Tamamen sıfır bir sıralama sıfıra bölmesin diye ideal DCG 0 olduğunda 0.0 döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.