Precision@k et Recall@k
Avant de régler le moindre prompt, réponds à une question plus difficile : le moteur de recherche trouve-t-il seulement les bons documents ? Un système RAG a deux moitiés, la recherche et la génération, et elles échouent de façons différentes. Si les mauvais morceaux reviennent, aucun polissage de prompt ne te sauvera. On mesure donc la recherche seule, face à un ensemble étiqueté de documents pertinents par requête, avec deux chiffres que tout ingénieur en recherche connaît par cœur.
Precision@k demande : parmi les k premiers documents renvoyés, quelle part était vraiment pertinente ? C'est la métrique « combien de bruit ai-je montré à l'utilisateur ».
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k demande l'inverse : parmi tous les documents qui étaient pertinents, quelle part ai-je réussi à faire remonter dans les k premiers ? C'est la métrique « combien en ai-je raté ».
recall@k = (relevant docs in the top k) / (total number of relevant docs)Prends un exemple concret. Tu récupères ["a", "b", "c"] et l'ensemble pertinent est {"a", "c"}. Avec k=3, deux des trois documents renvoyés sont pertinents, donc la précision vaut 2/3. Les deux documents pertinents ont été trouvés, donc le rappel vaut 1.0. Les deux tirent en sens inverse : élargis k et le rappel monte tandis que la précision baisse en général.
À construire. Deux fonctions pures :
precision_at_k(retrieved, relevant, k)-> la part deskpremiers id récupérés qui sont dansrelevant. Divise par le nombre de documents que tu as vraiment dans leskpremiers (pour qu'une liste courte ou un grandkne divise jamais par le mauvais nombre).recall_at_k(retrieved, relevant, k)-> la part derelevantretrouvée dans leskpremiers, divisée parlen(relevant).
Fais attention aux cas limites que testent les tests : k plus grand que la liste récupérée, et un ensemble pertinent vide (renvoie 0.0, ne divise jamais par zéro). Traite relevant comme un set pour tester l'appartenance rapidement. Dans un vrai banc, tu leur donnerais la sortie de ta base vectorielle ; ici elles sont notées directement sur des listes étiquetées.
Une note sur le périmètre : ce module couvre Precision@k, Recall@k, MRR et NDCG. Les équipes de recherche donnent souvent aussi la MAP (mean average precision), qui fait la moyenne de la précision mesurée à chaque document pertinent trouvé sur un ensemble de requêtes ; les quatre métriques vues ici sont le point de départ le plus courant.
Appuie sur Run pour noter un classement.
Écris precision_at_k(retrieved, relevant, k) (la part des k premiers id récupérés qui sont dans l'ensemble relevant, divisée par le nombre de documents vraiment présents dans les k premiers) et recall_at_k(retrieved, relevant, k) (la part de l'ensemble relevant retrouvée dans les k premiers, divisée par len(relevant)). Les deux doivent renvoyer 0.0 dans les cas vides (rien de récupéré, ensemble pertinent vide) au lieu de planter.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.