Projet final : un rapport d'évaluation de la recherche
Tu as les quatre métriques. Maintenant, branche-les dans ce qu'un ingénieur livre vraiment : un rapport d'évaluation de la recherche qui fait passer un ensemble de requêtes étiquetées dans un moteur de recherche et rend un tableau de scores. C'est le livrable derrière la ligne de CV "j'ai construit et évalué une chaîne RAG", et c'est ce qui te permet de dire "le nouveau moteur a fait passer la MRR de 0.62 à 1.0" au lieu de "ça a l'air mieux".
Le banc a trois pièces mobiles. Un ensemble d'évaluation est une liste de cas, chacun un dict comme {"query": "refund policy", "relevant": {"d_refund"}}. Un moteur de recherche (retriever) est toute fonction retriever(query, k) qui renvoie une liste classée d'id de documents (tu la passes en argument, donc le même rapport peut noter une référence BM25, un moteur dense ou un hybride). Et le rapport note chaque requête sur les quatre métriques, puis agrège.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Pour le NDCG sur des id récupérés, transforme le classement en pertinence graduée de la façon simple : un doc vaut 1 s'il est dans l'ensemble pertinent, sinon 0. Réutilise les fonctions construites : precision_at_k, recall_at_k, reciprocal_rank, dcg et ndcg_at_k.
À construire. evaluate_retrieval(eval_set, retriever, k) qui renvoie un dict avec :
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> la moyenne de chaque métrique sur les requêtes, chacune arrondie à 4 décimales avecround.per_query-> unpandas.DataFrame, une ligne par requête, avec les métriques de cette requête (pour repérer d'un coup d'œil laquelle a raté).failures-> une liste des requêtes dont le rang réciproque valait0.0(le moteur n'a rien fait remonter de pertinent). C'est ta liste de travail pour le débogage.
Le correcteur compare les chiffres agrégés à des valeurs calculées à la main, vérifie que la liste des échecs nomme la requête non couverte, et prouve qu'un meilleur moteur obtient un score strictement plus haut -> la vérification relationnelle qu'aucune constante ne peut truquer. Dans un système complet, un modèle répondrait maintenant à partir des morceaux renvoyés par le moteur gagnant, mais cette étape de génération est l'autre moitié de la chaîne ; ici, tu notes la recherche seule. Appuie sur Run pour afficher un tableau de scores.
Écris evaluate_retrieval(eval_set, retriever, k). Le eval_set est une liste de dicts {"query", "relevant"} ; retriever(query, k) renvoie une liste classée d'id de documents. Pour chaque requête, calcule precision_at_k, recall_at_k, reciprocal_rank et ndcg_at_k (un doc récupéré a une pertinence de 1 s'il est dans l'ensemble pertinent, sinon 0, et construis l'idéal à partir de tout l'ensemble pertinent : un 1 par document pertinent). Renvoie un dict avec mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (chacun arrondi à 4 décimales), un DataFrame pandas per_query (une ligne par requête), et une liste failures de chaque requête dont le rang réciproque valait 0.0.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.