NDCG@k: Gestufte Relevanz
Präzision, Recall und MRR behandeln Relevanz alle als Ja/Nein-Flag. Aber echte Relevanz hat Abstufungen: ein Dokument kann perfekt, etwas nützlich oder nicht relevant sein. NDCG (Normalized Discounted Cumulative Gain) ist die Metrik für gestufte Relevanz, und das ist diejenige, die große Such- und Empfehlungsteams tatsächlich berichten.
Es hat drei gestapelte Ideen. Erstens, gain: jedes Ergebnis trägt einen Relevanzwert (zum Beispiel 3 = perfekt, 1 = geringfügig, 0 = irrelevant). Zweitens, ein discount nach Position, weil ein großartiges Ergebnis auf Rang 10 weniger hilft als eines auf Rang 1. Discounted Cumulative Gain summiert den Gain jedes Ergebnisses geteilt durch log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...An Position 1 ist der Divisor log2(2) = 1 (kein Rabatt); an Position 2 ist er log2(3); und so weiter, also sind spätere Positionen stetig weniger wert. Drittens, normalization: DCG allein ist unbegrenzt und schwer über Abfragen hinweg zu vergleichen, also teile durch den ideal DCG (IDCG), den DCG, den du erhalten würdest, wenn dieselben Relevanzwerte vom besten zum schlechtesten sortiert wären.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Das setzt jede Abfrage auf eine 0.0 bis 1.0 Skala, wobei 1.0 "bereits in der bestmöglichen Reihenfolge" bedeutet. Ein umgekehrtes Ranking erzielt streng unter 1.0 Punkte; ein Ranking mit nur Nullen (nichts Relevantes) wird als 0.0 definiert.
Was zu bauen ist.
dcg(rels)-> der diskontierte kumulative Gewinn einer Liste von Relevanzwerten, unter Verwendung vonmath.log2(i + 1)mitibeginnend bei 1.ndcg_at_k(ranked_rels, k)->dcgder oberstenkgeteilt durch diedcgder gleichen Scores sortiert absteigend (das Ideal), oberstek. Wenn das Ideal DCG0ist, gib0.0anstelle einer Division durch Null zurück.
Hand-check eins: dcg([3, 0, 2]) ist 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Drücke Run um eine perfekte Sortierung gegen eine umgekehrte zu vergleichen.
Schreibe dcg(rels), das den discounted cumulative gain sum(rel_i / log2(i + 1)) zurückgibt, wobei die Positionen i ab 1 gezählt werden. Schreibe dann ndcg_at_k(ranked_rels, k, ideal_rels=None), das dcg der obersten k geteilt durch den idealen DCG zurückgibt: die Relevanzwerte von every beurteiltem Dokument, absteigend sortiert, die obersten k. Diese kommen aus ideal_rels, wenn sie gegeben sind; wenn es None ist, verwende ranked_rels selbst (nur korrekt, wenn das Ranking bereits jedes relevante Dokument enthält). Den idealen Wert allein aus der abgerufenen Liste zu nehmen, ist ein klassischer Bug: ein System, das 1 von 3 relevanten Dokumenten auf Rang 1 findet, würde eine perfekte 1.0 erzielen. Gib 0.0 zurück, wenn der ideale DCG 0 ist, damit ein Ranking aus Nullen nicht durch Null dividiert.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.