Capstone: Ein Retrieval Eval Report
Du hast die vier Metriken. Jetzt verbinde sie mit dem Ding, das ein Ingenieur tatsächlich liefert: einen retrieval eval report, der einen gelabelten Abfragesatz durch einen retriever schickt und eine Scorecard zurückgibt. Dies ist das Artefakt hinter der Zeile im Lebenslauf „RAG pipeline gebaut und evaluiert“ und es ist das, was dir erlaubt zu sagen „der neue retriever hat den MRR von 0.62 auf 1.0 angehoben“ anstatt „es fühlt sich besser an.“
Das Harness hat drei bewegliche Teile. Ein eval set ist eine Liste von Fällen, jeder ein Dict wie {"query": "refund policy", "relevant": {"d_refund"}}. Ein retriever ist jeder callable retriever(query, k), der eine sortierte Liste von doc IDs zurückgibt (du übergibst ihn, also kann derselbe Bericht einen BM25 baseline, einen dense retriever oder einen hybrid bewerten). Und der report bewertet jede Abfrage auf alle vier Metriken und aggregiert sie dann.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Für NDCG über abgerufene IDs verwandelst du das Ranking auf die einfache Weise in gestufte Relevanz: ein doc erhält 1, wenn es im relevanten Set ist, sonst 0. Nutze die Funktionen, die du gebaut hast, wieder: precision_at_k, recall_at_k, reciprocal_rank, dcg und ndcg_at_k.
Was zu bauen ist. evaluate_retrieval(eval_set, retriever, k) Rückgabe eines Dictionarys mit:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> der Mittelwert jeder Metrik über die Abfragen, jederroundauf 4 Stellen gerundet.per_query-> einepandas.DataFrame, eine Zeile pro Abfrage, die die Metriken dieser Abfrage trägt (damit du sehen kannst, welche Abfrage abgestürzt ist).failures-> eine Liste der Abfragen, deren reziproker Rang0.0war (der retriever lieferte nichts Relevantes). Dies ist deine Debugging-Arbeitsliste.
Der Grader prüft die aggregierten Zahlen gegen handberechnete Werte, bestätigt, dass die failure list die nicht abgedeckte query nennt, und beweist, dass ein better retriever strictly higher score erzielt -> der relationale Check, den keine Konstante fälschen kann. In einem vollständigen System würde ein Modell nun aus den chunks antworten, die der winning retriever zurückgegeben hat, aber dieser generation step ist die andere Hälfte der Pipeline; hier bewertest du retrieval für sich allein. Drücke Run, um eine scorecard zu drucken.
Schreibe evaluate_retrieval(eval_set, retriever, k). eval_set ist eine Liste von {"query", "relevant"} dicts; retriever(query, k) gibt eine sortierte Liste von doc IDs zurück. Berechne für jede Abfrage den Score von precision_at_k, recall_at_k, reciprocal_rank und ndcg_at_k (behandle ein abgerufenes doc als Relevanz 1, wenn es im relevanten Set ist, sonst 0, und baue das Ideal aus dem gesamten relevanten Set: eine 1 pro relevantem Dokument). Gib ein dict mit mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (jeweils auf 4 Stellen gerundet), einen per_query pandas DataFrame (eine Zeile pro Abfrage) und eine failures Liste jeder Abfrage zurück, deren reciprocal rank 0.0 war.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.