Programma Les 164 van 250 · RAG & Retrieval evalueren
RAG & Retrieval evalueren

Capstone: Een Retrieval Eval Rapport

Je hebt de vier metrics. Nu verbind je ze tot het ding dat een engineer echt levert: een retrieval eval report dat een gelabelde query set door een retriever haalt en een scorecard teruggeeft. Dit is het artefact achter de regel in je cv "RAG pipeline gebouwd en geëvalueerd", en het is wat je in staat stelt om te zeggen "de nieuwe retriever verhoogde de MRR van 0.62 naar 1.0" in plaats van "het voelt beter."

De harness heeft drie bewegende delen. Een eval set is een lijst van gevallen, elk een dict zoals {"query": "refund policy", "relevant": {"d_refund"}}. Een retriever is elke aanroepbare retriever(query, k) die een gerangschikte lijst van doc IDs teruggeeft (je geeft het mee, dus hetzelfde rapport kan een BM25 baseline, een dense retriever of een hybride beoordelen). En de report scoort elke query op alle vier de metrieken en aggregeert deze daarna.

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

Voor NDCG over opgehaalde ID's verander je de ranking naar genoteerde relevantie op de simpele manier: een doc krijgt 1 als het in de relevante set staat, anders 0. Gebruik de functies die je hebt gebouwd opnieuw: precision_at_k, recall_at_k, reciprocal_rank, dcg, en ndcg_at_k.

Wat je moet bouwen. evaluate_retrieval(eval_set, retriever, k) een dictionary retourneren met:

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> het gemiddelde van elke metric over de queries, elk rounded tot 4 plaatsen.
  • per_query -> een pandas.DataFrame, één rij per query, met de metrics van die query (zodat je kunt zien welke query mislukte).
  • failures -> een lijst van de queries waarvan de reciproque rang 0.0 was (de retriever vond niets relevants). Dit is je debugging werklijst.

De grader controleert de geaggregeerde getallen tegen handmatig berekende waarden, bevestigt dat de failure list de niet gedekte query noemt, en bewijst dat een betere retriever strikt hoger scoort -> de relationele check die geen constante kan vervalsen. In een volledig systeem zou een model nu antwoorden vanuit de chunks die de winnende retriever teruggaf, maar die generatiestap is de andere helft van de pipeline; hier beoordeel je retrieval op zichzelf. Druk op Run om een scorecard te printen.

Jij bent aan de beurt

Schrijf evaluate_retrieval(eval_set, retriever, k). De eval_set is een lijst van {"query", "relevant"} dicts; retriever(query, k) geeft een gerangschikte lijst van doc IDs terug. Geef voor elke query een score voor precision_at_k, recall_at_k, reciprocal_rank en ndcg_at_k (behandel een opgehaald doc als relevantie 1 als het in de relevante set zit, anders 0, en bouw het ideaal op uit de hele relevante set: één 1 per relevant document). Geef een dict terug met mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (elk afgerond op 4 plaatsen), een per_query pandas DataFrame (één rij per query) en een failures lijst van elke query waarvan de reciprocal rank 0.0 was.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.