Lehrplan Lektion 163 von 250 · Bewertung von RAG & Retrieval
Bewertung von RAG & Retrieval

NDCG@k: Gestufte Relevanz

Präzision, Recall und MRR behandeln Relevanz alle als Ja/Nein-Flag. Aber echte Relevanz hat Abstufungen: ein Dokument kann perfekt, etwas nützlich oder nicht relevant sein. NDCG (Normalized Discounted Cumulative Gain) ist die Metrik für gestufte Relevanz, und das ist diejenige, die große Such- und Empfehlungsteams tatsächlich berichten.

Es hat drei gestapelte Ideen. Erstens, gain: jedes Ergebnis trägt einen Relevanzwert (zum Beispiel 3 = perfekt, 1 = geringfügig, 0 = irrelevant). Zweitens, ein discount nach Position, weil ein großartiges Ergebnis auf Rang 10 weniger hilft als eines auf Rang 1. Discounted Cumulative Gain summiert den Gain jedes Ergebnisses geteilt durch log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

An Position 1 ist der Divisor log2(2) = 1 (kein Rabatt); an Position 2 ist er log2(3); und so weiter, also sind spätere Positionen stetig weniger wert. Drittens, normalization: DCG allein ist unbegrenzt und schwer über Abfragen hinweg zu vergleichen, also teile durch den ideal DCG (IDCG), den DCG, den du erhalten würdest, wenn dieselben Relevanzwerte vom besten zum schlechtesten sortiert wären.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Das setzt jede Abfrage auf eine 0.0 bis 1.0 Skala, wobei 1.0 "bereits in der bestmöglichen Reihenfolge" bedeutet. Ein umgekehrtes Ranking erzielt streng unter 1.0 Punkte; ein Ranking mit nur Nullen (nichts Relevantes) wird als 0.0 definiert.

Was zu bauen ist.

  • dcg(rels) -> der diskontierte kumulative Gewinn einer Liste von Relevanzwerten, unter Verwendung von math.log2(i + 1) mit i beginnend bei 1.
  • ndcg_at_k(ranked_rels, k) -> dcg der obersten k geteilt durch die dcg der gleichen Scores sortiert absteigend (das Ideal), oberste k. Wenn das Ideal DCG 0 ist, gib 0.0 anstelle einer Division durch Null zurück.

Hand-check eins: dcg([3, 0, 2]) ist 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Drücke Run um eine perfekte Sortierung gegen eine umgekehrte zu vergleichen.

Du bist dran

Schreibe dcg(rels), das den discounted cumulative gain sum(rel_i / log2(i + 1)) zurückgibt, wobei die Positionen i ab 1 gezählt werden. Schreibe dann ndcg_at_k(ranked_rels, k, ideal_rels=None), das dcg der obersten k geteilt durch den idealen DCG zurückgibt: die Relevanzwerte von every beurteiltem Dokument, absteigend sortiert, die obersten k. Diese kommen aus ideal_rels, wenn sie gegeben sind; wenn es None ist, verwende ranked_rels selbst (nur korrekt, wenn das Ranking bereits jedes relevante Dokument enthält). Den idealen Wert allein aus der abgerufenen Liste zu nehmen, ist ein klassischer Bug: ein System, das 1 von 3 relevanten Dokumenten auf Rang 1 findet, würde eine perfekte 1.0 erzielen. Gib 0.0 zurück, wenn der ideale DCG 0 ist, damit ein Ranking aus Nullen nicht durch Null dividiert.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.