Le rang réciproque moyen (MRR)
La précision et le rappel traitent les k premiers comme un sac : un doc pertinent en position 1 compte autant qu'un en position 5. Mais le rang compte. Un utilisateur lit depuis le haut, et un prompt RAG s'appuie en général surtout sur le premier morceau. Le rang réciproque moyen (Mean Reciprocal Rank, MRR) récompense le fait de placer un résultat pertinent en haut.
Pour une seule requête, le rang réciproque vaut 1 / (rank of the first relevant doc) (1 divisé par le rang du premier doc pertinent), en comptant les rangs à partir de 1. Si le premier doc pertinent est en position 1, tu obtiens 1.0 ; en position 2, 0.5 ; en position 3, 1/3. Si aucun doc pertinent n'apparaît, le score vaut 0.0. Seule la première trouvaille compte, ce qui est exactement le bon modèle pour "la réponse est-elle apparue là où l'utilisateur (ou le modèle) va regarder ?"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5La MRR est juste la moyenne de ces rangs réciproques sur tout un ensemble de requêtes. Deux requêtes qui obtiennent 1.0 et 0.5 donnent une MRR de 0.75. C'est le chiffre phare standard de la recherche pour les questions-réponses, où chaque requête a en général une seule bonne réponse qu'on veut voir remonter en premier.
À construire.
reciprocal_rank(retrieved, relevant)-> parcours la liste classée, et dès que tu tombes sur un doc derelevant, renvoie1.0 / rank(les rangs commencent à 1). Si tu n'en trouves jamais, renvoie0.0.mrr(queries)->queriesest une liste de paires(retrieved, relevant); fais la moyenne du rang réciproque de chaque paire. Une liste vide renvoie0.0, sans plantage.
Utilise enumerate(retrieved, start=1) pour que l'indice soit déjà le rang. Appuie sur Run pour noter deux requêtes et voir la moyenne.
Écris reciprocal_rank(retrieved, relevant) qui renvoie 1.0 / (rank of the first relevant doc) avec des rangs comptés à partir de 1, ou 0.0 si aucun doc pertinent n'est récupéré. Puis écris mrr(queries) où queries est une liste de paires (retrieved, relevant), qui renvoie la moyenne de leurs rangs réciproques (et 0.0 pour une liste vide).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.