Progetto finale: un report di valutazione del recupero
Hai le quattro metriche. Ora collegale nella cosa che un ingegnere rilascia davvero: un report di valutazione del recupero che fa passare un insieme di query etichettate attraverso un recuperatore e restituisce una pagella. È il lavoro dietro la riga del curriculum "ho costruito e valutato una pipeline RAG", ed è ciò che ti permette di dire "il nuovo recuperatore ha portato l'MRR da 0.62 a 1.0" invece di "sembra meglio".
Il banco di prova ha tre parti mobili. Un insieme di valutazione è una lista di casi, ciascuno un dict come {"query": "refund policy", "relevant": {"d_refund"}}. Un recuperatore è qualsiasi oggetto chiamabile retriever(query, k) che restituisce una lista ordinata di ID di documenti (lo passi tu, così lo stesso report può valutare un BM25 di base, un recuperatore denso o uno ibrido). E il report valuta ogni query su tutte e quattro le metriche, poi aggrega.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Per l'NDCG sugli ID recuperati, trasforma l'ordinamento in pertinenza graduata nel modo semplice: un documento vale 1 se è nell'insieme pertinente, altrimenti 0. Riusa le funzioni che hai costruito: precision_at_k, recall_at_k, reciprocal_rank, dcg e ndcg_at_k.
Che cosa costruire. evaluate_retrieval(eval_set, retriever, k) che restituisce un dict con:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> la media di ogni metrica sulle query, ognuna arrotondata conrounda 4 cifre.per_query-> unpandas.DataFrame, una riga per query, con le metriche di quella query (così puoi vedere a occhio quale query è andata a picco).failures-> una lista delle query il cui reciprocal rank era0.0(il recuperatore non ha fatto emergere niente di pertinente). È la tua lista di lavoro per il debug.
Il correttore controlla i numeri aggregati rispetto a valori calcolati a mano, conferma che la lista dei fallimenti nomina la query scoperta, e dimostra che un recuperatore migliore ottiene strettamente di più -> il controllo relazionale che nessuna costante può falsificare. In un sistema completo un modello risponderebbe ora dai pezzi restituiti dal recuperatore vincente, ma quel passo di generazione è l'altra metà della pipeline; qui stai valutando il recupero da solo. Premi Run per stampare una pagella.
Scrivi evaluate_retrieval(eval_set, retriever, k). L'eval_set è una lista di dict {"query", "relevant"}; retriever(query, k) restituisce una lista ordinata di ID di documenti. Per ogni query, calcola precision_at_k, recall_at_k, reciprocal_rank e ndcg_at_k (tratta un documento recuperato come pertinenza 1 se è nell'insieme pertinente, altrimenti 0, e costruisci l'ideale dall'intero insieme pertinente: un 1 per ogni documento pertinente). Restituisci un dict con mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (ognuna arrotondata a 4 cifre), un DataFrame pandas per_query (una riga per query), e una lista failures di ogni query il cui reciprocal rank era 0.0.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.