Kurrikulum Leson 163 van 250 · Evaluering van RAG & Retrieval
Evaluering van RAG & Retrieval

NDCG@k: Gegradeerde Relevantie

Presisie, herinnering en MRR behandel alle relevantheid as 'n ja/nee vlag. Maar werklike relevantheid het verskillende nuanses: 'n dokument kan perfek, ietsiets nuttig, of buite die onderwerp wees. NDCG (Normalized Discounted Cumulative Gain) is die metriek vir gegradeerde relevantheid, en dit is die een wat groot soek- en aanbevelingspanne werklik rapporteer.

Dit het drie idees gestap. Eereens, gain: elke resultaat dra 'n relevantieskore (sê 3 = perfek, 1 = marginaal, 0 = irrelevant). Tweedens, 'n discount volgens posisie, omdat 'n goeie resultaat begrawe by rang 10 minder help as een by rang 1. Discounted Cumulative Gain tel elke resultaat se gain op gedeel deur log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

By posisie 1 is die deler log2(2) = 1 (geen afslag nie); by posisie 2 is dit log2(3); en so voort, so is latere posisies steeds minder werd. Derde, normalization: DCG op sy eie is onbeperk en moeilik om oor navrae te vergelyk, so deel deur die ideal DCG (IDCG), die DCG wat jy sou kry as daardie selfde relevantieskores van beste tot swak gesorteer was.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Dit plaas elke navraag op 'n 0.0 tot 1.0 skaal waar 1.0 "reeds in die beste moontlike volgorde" beteken. 'n Omgekeerde rangskikking tel streng onder 1.0; 'n alle-nul (niks relevant) rangskikking word gedefinieer as 0.0.

Wat om te bou.

  • dcg(rels) -> die afgetreke kumulatiewe wins van 'n lys van relevantheidskale, deur math.log2(i + 1) met i wat by 1 begin te gebruik.
  • ndcg_at_k(ranked_rels, k) -> dcg van die boonste k gedeel deur die dcg van dieselfde tellinge wat afdalend gesorteer is (die ideaal), boonste k. As die ideaal DCG 0 is, gee 0.0 terug in plaas van om deur nul te deel.

Hand-kontrole een: dcg([3, 0, 2]) is 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Druk Run om 'n perfekte volgorde teen 'n omgekeerde een te vergelyk.

Jou beurt

Skryf dcg(rels) wat die afgetreke kumulatiewe wins sum(rel_i / log2(i + 1)) teruggee met posisies i wat vanaf 1 getel word. Skryf dan ndcg_at_k(ranked_rels, k, ideal_rels=None) wat dcg van die top k gedeel deur die ideale DCG teruggee: die relevantieskore van every beoordeel dokument, gesorteer afwaarts, top k. Daardie kom van ideal_rels wanneer dit gegee word; wanneer dit None is, gebruik ranked_rels self (reg slegs wanneer die rangskikking reeds elke relevante dokument bevat). Om die ideale uit die verkryde lys alleen te neem is 'n klassieke fout: 'n stelsel wat 1 van 3 relevante dokumente vind, by rang 1, sou 'n perfekte 1.0 skof. Gee 0.0 terug wanneer die ideale DCG 0 is sodat 'n rangskikking met net nulle nie deur nul deel nie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.