Programme Leçon 162 sur 250 · Évaluer le RAG et la recherche
Évaluer le RAG et la recherche

Le rang réciproque moyen (MRR)

La précision et le rappel traitent les k premiers comme un sac : un doc pertinent en position 1 compte autant qu'un en position 5. Mais le rang compte. Un utilisateur lit depuis le haut, et un prompt RAG s'appuie en général surtout sur le premier morceau. Le rang réciproque moyen (Mean Reciprocal Rank, MRR) récompense le fait de placer un résultat pertinent en haut.

Pour une seule requête, le rang réciproque vaut 1 / (rank of the first relevant doc) (1 divisé par le rang du premier doc pertinent), en comptant les rangs à partir de 1. Si le premier doc pertinent est en position 1, tu obtiens 1.0 ; en position 2, 0.5 ; en position 3, 1/3. Si aucun doc pertinent n'apparaît, le score vaut 0.0. Seule la première trouvaille compte, ce qui est exactement le bon modèle pour "la réponse est-elle apparue là où l'utilisateur (ou le modèle) va regarder ?"

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

La MRR est juste la moyenne de ces rangs réciproques sur tout un ensemble de requêtes. Deux requêtes qui obtiennent 1.0 et 0.5 donnent une MRR de 0.75. C'est le chiffre phare standard de la recherche pour les questions-réponses, où chaque requête a en général une seule bonne réponse qu'on veut voir remonter en premier.

À construire.

  • reciprocal_rank(retrieved, relevant) -> parcours la liste classée, et dès que tu tombes sur un doc de relevant, renvoie 1.0 / rank (les rangs commencent à 1). Si tu n'en trouves jamais, renvoie 0.0.
  • mrr(queries) -> queries est une liste de paires (retrieved, relevant) ; fais la moyenne du rang réciproque de chaque paire. Une liste vide renvoie 0.0, sans plantage.

Utilise enumerate(retrieved, start=1) pour que l'indice soit déjà le rang. Appuie sur Run pour noter deux requêtes et voir la moyenne.

À ton tour

Écris reciprocal_rank(retrieved, relevant) qui renvoie 1.0 / (rank of the first relevant doc) avec des rangs comptés à partir de 1, ou 0.0 si aucun doc pertinent n'est récupéré. Puis écris mrr(queries) où queries est une liste de paires (retrieved, relevant), qui renvoie la moyenne de leurs rangs réciproques (et 0.0 pour une liste vide).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.