NDCG@k : la pertinence graduée
La précision, le rappel et la MRR traitent tous la pertinence comme un drapeau oui/non. Mais la vraie pertinence a des nuances : un document peut être parfait, assez utile ou hors sujet. Le NDCG (Normalized Discounted Cumulative Gain, gain cumulé actualisé normalisé) est la métrique de la pertinence graduée, et c'est celle que donnent vraiment les grandes équipes de recherche et de recommandation.
Elle empile trois idées. D'abord, le gain : chaque résultat porte un score de pertinence (disons 3 = parfait, 1 = marginal, 0 = non pertinent). Ensuite, une remise selon la position, car un excellent résultat enterré au rang 10 aide moins qu'un au rang 1. Le gain cumulé actualisé (DCG) additionne le gain de chaque résultat divisé par log2(position + 1) :
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...En position 1, le diviseur vaut log2(2) = 1 (pas de remise) ; en position 2, log2(3) ; et ainsi de suite, donc les positions suivantes valent de moins en moins. Enfin, la normalisation : le DCG seul n'a pas de borne et se compare mal d'une requête à l'autre, donc on divise par le DCG idéal (IDCG), le DCG qu'on obtiendrait si ces mêmes scores de pertinence étaient triés du meilleur au pire.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Ça place chaque requête sur une échelle de 0.0 à 1.0 où 1.0 veut dire "déjà dans le meilleur ordre possible". Un classement inversé obtient strictement moins de 1.0 ; un classement tout à zéro (rien de pertinent) vaut par définition 0.0.
À construire.
dcg(rels)-> le gain cumulé actualisé d'une liste de scores de pertinence, avecmath.log2(i + 1)oùicommence à 1.ndcg_at_k(ranked_rels, k)-> ledcgdeskpremiers divisé par ledcgdes mêmes scores triés par ordre décroissant (l'idéal),kpremiers. Si le DCG idéal vaut0, renvoie0.0au lieu de diviser par zéro.
Vérifie-en un à la main : dcg([3, 0, 2]) vaut 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Appuie sur Run pour comparer un ordre parfait à un ordre inversé.
Écris dcg(rels) qui renvoie le gain cumulé actualisé sum(rel_i / log2(i + 1)) avec des positions i comptées à partir de 1. Puis écris ndcg_at_k(ranked_rels, k, ideal_rels=None) qui renvoie le dcg des k premiers divisé par le DCG idéal : les scores de pertinence de tous les documents jugés, triés par ordre décroissant, k premiers. Ils viennent de ideal_rels quand il est fourni ; quand il vaut None, utilise ranked_rels lui-même (correct seulement quand le classement contient déjà tous les documents pertinents). Prendre l'idéal dans la seule liste récupérée est un bug classique : un système qui trouve 1 document pertinent sur 3, au rang 1, obtiendrait un parfait 1.0. Renvoie 0.0 quand le DCG idéal vaut 0, pour qu'un classement tout à zéro ne divise pas par zéro.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.