Programme Leçon 161 sur 250 · Évaluer le RAG et la recherche
Évaluer le RAG et la recherche

Precision@k et Recall@k

Avant de régler le moindre prompt, réponds à une question plus difficile : le moteur de recherche trouve-t-il seulement les bons documents ? Un système RAG a deux moitiés, la recherche et la génération, et elles échouent de façons différentes. Si les mauvais morceaux reviennent, aucun polissage de prompt ne te sauvera. On mesure donc la recherche seule, face à un ensemble étiqueté de documents pertinents par requête, avec deux chiffres que tout ingénieur en recherche connaît par cœur.

Precision@k demande : parmi les k premiers documents renvoyés, quelle part était vraiment pertinente ? C'est la métrique « combien de bruit ai-je montré à l'utilisateur ».

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k demande l'inverse : parmi tous les documents qui étaient pertinents, quelle part ai-je réussi à faire remonter dans les k premiers ? C'est la métrique « combien en ai-je raté ».

recall@k = (relevant docs in the top k) / (total number of relevant docs)

Prends un exemple concret. Tu récupères ["a", "b", "c"] et l'ensemble pertinent est {"a", "c"}. Avec k=3, deux des trois documents renvoyés sont pertinents, donc la précision vaut 2/3. Les deux documents pertinents ont été trouvés, donc le rappel vaut 1.0. Les deux tirent en sens inverse : élargis k et le rappel monte tandis que la précision baisse en général.

À construire. Deux fonctions pures :

  • precision_at_k(retrieved, relevant, k) -> la part des k premiers id récupérés qui sont dans relevant. Divise par le nombre de documents que tu as vraiment dans les k premiers (pour qu'une liste courte ou un grand k ne divise jamais par le mauvais nombre).
  • recall_at_k(retrieved, relevant, k) -> la part de relevant retrouvée dans les k premiers, divisée par len(relevant).

Fais attention aux cas limites que testent les tests : k plus grand que la liste récupérée, et un ensemble pertinent vide (renvoie 0.0, ne divise jamais par zéro). Traite relevant comme un set pour tester l'appartenance rapidement. Dans un vrai banc, tu leur donnerais la sortie de ta base vectorielle ; ici elles sont notées directement sur des listes étiquetées.

Une note sur le périmètre : ce module couvre Precision@k, Recall@k, MRR et NDCG. Les équipes de recherche donnent souvent aussi la MAP (mean average precision), qui fait la moyenne de la précision mesurée à chaque document pertinent trouvé sur un ensemble de requêtes ; les quatre métriques vues ici sont le point de départ le plus courant.

Appuie sur Run pour noter un classement.

À ton tour

Écris precision_at_k(retrieved, relevant, k) (la part des k premiers id récupérés qui sont dans l'ensemble relevant, divisée par le nombre de documents vraiment présents dans les k premiers) et recall_at_k(retrieved, relevant, k) (la part de l'ensemble relevant retrouvée dans les k premiers, divisée par len(relevant)). Les deux doivent renvoyer 0.0 dans les cas vides (rien de récupéré, ensemble pertinent vide) au lieu de planter.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.