Programma Les 163 van 250 · RAG & Retrieval evalueren
RAG & Retrieval evalueren

NDCG@k: Beoordeelde relevantie

Precisie, recall en MRR behandelen relevantie allemaal als een ja/nee vlag. Maar echte relevantie heeft nuances: een document kan perfect, enigens nuttig, of niet relevant zijn. NDCG (Normalized Discounted Cumulative Gain) is de metriek voor genoteerde relevantie, en dit is de metriek die grote zoek- en aanbevelingsteams daadwerkelijk rapporteren.

Het heeft drie ideeën gestapeld. Ten eerste, gain: elk resultaat heeft een relevantiescore (bijvoorbeeld 3 = perfect, 1 = marginaal, 0 = irrelevant). Ten tweede, een discount op basis van positie, omdat een goed resultaat begraven op rang 10 minder helpt dan een resultaat op rang 1. Discounted Cumulative Gain somt de gain van elk resultaat op gedeeld door log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

Op positie 1 is de deler log2(2) = 1 (geen korting); op positie 2 is het log2(3); enzovoort, dus latere posities zijn steeds minder waard. Ten derde, normalization: DCG op zichzelf is onbegrensd en moeilijk te vergelijken over verschillende queries, dus deel door de ideal DCG (IDCG), de DCG die je zou krijgen als diezelfde relevantiescores van best naar slechtst gesorteerd zouden zijn.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Dat zet elke query op een 0.0 tot 1.0 schaal waar 1.0 betekent "al in de best mogelijke volgorde." Een omgekeerde rangschikking scoort strikt onder 1.0; een ranking met alleen nullen (niets relevants) wordt gedefinieerd als 0.0.

Wat je gaat bouwen.

  • dcg(rels) -> de gereduceerde cumulatieve winst van een lijst met relevantiescores, gebruikmakend van math.log2(i + 1) met i beginnend bij 1.
  • ndcg_at_k(ranked_rels, k) -> dcg van de top k gedeeld door de dcg van dezelfde scores gesorteerd aflopend (het ideaal), top k. Als het ideaal DCG 0 is, retourneer 0.0 in plaats van delen door nul.

Handcheck één: dcg([3, 0, 2]) is 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Druk op Run om een perfecte volgorde te vergelijken met een omgekeerde.

Jij bent aan de beurt

Schrijf dcg(rels) die de discounted cumulative gain sum(rel_i / log2(i + 1)) teruggeeft met posities i geteld vanaf 1. Schrijf daarna ndcg_at_k(ranked_rels, k, ideal_rels=None) die dcg teruggeeft van de top k gedeeld door de ideale DCG: de relevantiescores van every beoordeelde document, gesorteerd aflopend, top k. Deze komen uit ideal_rels wanneer gegeven; wanneer het None is, gebruik ranked_rels zelf (alleen goed als de ranking al elk relevant document bevat). De ideale waarde alleen uit de opgehaalde lijst nemen is een klassieke bug: een systeem dat 1 van de 3 relevante documenten vindt op rang 1, zou een perfecte 1.0 scoren. Geef 0.0 terug wanneer de ideale DCG 0 is zodat een ranking met alleen nullen niet door nul deelt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.