Kurrikulum Leson 164 van 250 · Evaluering van RAG & Retrieval
Evaluering van RAG & Retrieval

Slotstuk: 'n Retrieval Eval Rapport

Jy het die vier maatstawwe. Koppel hulle nou aan die ding wat 'n ingenieur werklik lewer: 'n herwinning-evalueringsverslag wat 'n gemerkte stel navrae deur 'n herwinner stuur en 'n telkaart teruggee. Dit is die artefak agter die CV-reël "built and evaluated a RAG pipeline," en dit is wat jou laat sê "die nuwe herwinner het MRR van 0.62 na 1.0 gelig" in plaas van "dit voel beter."

Die harness het drie bewegende dele. 'n eval set is 'n lys van gevalle, elk 'n dict soos {"query": "refund policy", "relevant": {"d_refund"}}. 'n retriever is enige callable retriever(query, k) wat 'n gerangskikte lys van doc IDs teruggee (jy gee dit in, so die selfde report kan 'n BM25 baseline, 'n dense retriever, of 'n hybrid grade). En die report tel elke query op al vier metrieke, en aggregeer dan.

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

Vir NDCG oor ingehaalde ID's, verander die rangskikking na gegradeerde relevantheid op die eenvoudige manier: 'n doc kry 1 as dit in die relevante stel is, anders 0. Hergebruik die funksies wat jy gebou het: precision_at_k, recall_at_k, reciprocal_rank, dcg, en ndcg_at_k.

Wat om te bou. evaluate_retrieval(eval_set, retriever, k) wat 'n dict teruggee met:

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> die gemiddelde van elke metriek oor die queries, elk rounded tot 4 plekke.
  • per_query -> 'n pandas.DataFrame, een ry per query, wat daardie query se metrieke dra (so jy kan sien watter query gesuig het).
  • failures -> 'n lys van die navrae waarvan die wederkerige rang 0.0 was (die retriever het niks relevants gevind nie). Dit is jou foutopsporingwerklys.

Die grader kontroleer die aggegreë getalle teen handberekene waardes, bevestig dat die foutelys die onbedekte navraag benoem, en bewys dat 'n beter retriever streng hoër tel -> die relasionele kontrole wat geen konstante kan vervals nie. In 'n volledige stelsel sou 'n model nou vanuit die chunks wat die wennende retriever teruggegee het, antwoord, maar daardie generasiestap is die ander helfte van die pipeline; hier beoordeel jy die uithaling op sy eie. Druk Run om 'n tellingkaart te druk.

Jou beurt

Skryf evaluate_retrieval(eval_set, retriever, k). Die eval_set is 'n lys van {"query", "relevant"} dicts; retriever(query, k) gee 'n gerangskikke lys van doc IDs terug. Vir elke query, skoor precision_at_k, recall_at_k, reciprocal_rank, en ndcg_at_k (beskou 'n herhalwe doc as relevantie 1 as dit in die relevante stel is, anders 0, en bou die ideaal uit die hele relevante stel: een 1 per relevante dokument). Gee 'n dict met mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (elke een afgerond tot 4 plekke) terug, 'n per_query pandas DataFrame (een ry per query), en 'n failures lys van elke query waarvan die reciprocal rank 0.0 was.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.