NDCG@k: Beoordeelde relevantie
Precisie, recall en MRR behandelen relevantie allemaal als een ja/nee vlag. Maar echte relevantie heeft nuances: een document kan perfect, enigens nuttig, of niet relevant zijn. NDCG (Normalized Discounted Cumulative Gain) is de metriek voor genoteerde relevantie, en dit is de metriek die grote zoek- en aanbevelingsteams daadwerkelijk rapporteren.
Het heeft drie ideeën gestapeld. Ten eerste, gain: elk resultaat heeft een relevantiescore (bijvoorbeeld 3 = perfect, 1 = marginaal, 0 = irrelevant). Ten tweede, een discount op basis van positie, omdat een goed resultaat begraven op rang 10 minder helpt dan een resultaat op rang 1. Discounted Cumulative Gain somt de gain van elk resultaat op gedeeld door log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...Op positie 1 is de deler log2(2) = 1 (geen korting); op positie 2 is het log2(3); enzovoort, dus latere posities zijn steeds minder waard. Ten derde, normalization: DCG op zichzelf is onbegrensd en moeilijk te vergelijken over verschillende queries, dus deel door de ideal DCG (IDCG), de DCG die je zou krijgen als diezelfde relevantiescores van best naar slechtst gesorteerd zouden zijn.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Dat zet elke query op een 0.0 tot 1.0 schaal waar 1.0 betekent "al in de best mogelijke volgorde." Een omgekeerde rangschikking scoort strikt onder 1.0; een ranking met alleen nullen (niets relevants) wordt gedefinieerd als 0.0.
Wat je gaat bouwen.
dcg(rels)-> de gereduceerde cumulatieve winst van een lijst met relevantiescores, gebruikmakend vanmath.log2(i + 1)metibeginnend bij 1.ndcg_at_k(ranked_rels, k)->dcgvan de topkgedeeld door dedcgvan dezelfde scores gesorteerd aflopend (het ideaal), topk. Als het ideaal DCG0is, retourneer0.0in plaats van delen door nul.
Handcheck één: dcg([3, 0, 2]) is 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Druk op Run om een perfecte volgorde te vergelijken met een omgekeerde.
Schrijf dcg(rels) die de discounted cumulative gain sum(rel_i / log2(i + 1)) teruggeeft met posities i geteld vanaf 1. Schrijf daarna ndcg_at_k(ranked_rels, k, ideal_rels=None) die dcg teruggeeft van de top k gedeeld door de ideale DCG: de relevantiescores van every beoordeelde document, gesorteerd aflopend, top k. Deze komen uit ideal_rels wanneer gegeven; wanneer het None is, gebruik ranked_rels zelf (alleen goed als de ranking al elk relevant document bevat). De ideale waarde alleen uit de opgehaalde lijst nemen is een klassieke bug: een systeem dat 1 van de 3 relevante documenten vindt op rang 1, zou een perfecte 1.0 scoren. Geef 0.0 terug wanneer de ideale DCG 0 is zodat een ranking met alleen nullen niet door nul deelt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.