Programma Lezione 164 di 250 · Valutare il RAG e il recupero
Valutare il RAG e il recupero

Progetto finale: un report di valutazione del recupero

Hai le quattro metriche. Ora collegale nella cosa che un ingegnere rilascia davvero: un report di valutazione del recupero che fa passare un insieme di query etichettate attraverso un recuperatore e restituisce una pagella. È il lavoro dietro la riga del curriculum "ho costruito e valutato una pipeline RAG", ed è ciò che ti permette di dire "il nuovo recuperatore ha portato l'MRR da 0.62 a 1.0" invece di "sembra meglio".

Il banco di prova ha tre parti mobili. Un insieme di valutazione è una lista di casi, ciascuno un dict come {"query": "refund policy", "relevant": {"d_refund"}}. Un recuperatore è qualsiasi oggetto chiamabile retriever(query, k) che restituisce una lista ordinata di ID di documenti (lo passi tu, così lo stesso report può valutare un BM25 di base, un recuperatore denso o uno ibrido). E il report valuta ogni query su tutte e quattro le metriche, poi aggrega.

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

Per l'NDCG sugli ID recuperati, trasforma l'ordinamento in pertinenza graduata nel modo semplice: un documento vale 1 se è nell'insieme pertinente, altrimenti 0. Riusa le funzioni che hai costruito: precision_at_k, recall_at_k, reciprocal_rank, dcg e ndcg_at_k.

Che cosa costruire. evaluate_retrieval(eval_set, retriever, k) che restituisce un dict con:

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> la media di ogni metrica sulle query, ognuna arrotondata con round a 4 cifre.
  • per_query -> un pandas.DataFrame, una riga per query, con le metriche di quella query (così puoi vedere a occhio quale query è andata a picco).
  • failures -> una lista delle query il cui reciprocal rank era 0.0 (il recuperatore non ha fatto emergere niente di pertinente). È la tua lista di lavoro per il debug.

Il correttore controlla i numeri aggregati rispetto a valori calcolati a mano, conferma che la lista dei fallimenti nomina la query scoperta, e dimostra che un recuperatore migliore ottiene strettamente di più -> il controllo relazionale che nessuna costante può falsificare. In un sistema completo un modello risponderebbe ora dai pezzi restituiti dal recuperatore vincente, ma quel passo di generazione è l'altra metà della pipeline; qui stai valutando il recupero da solo. Premi Run per stampare una pagella.

Tocca a te

Scrivi evaluate_retrieval(eval_set, retriever, k). L'eval_set è una lista di dict {"query", "relevant"}; retriever(query, k) restituisce una lista ordinata di ID di documenti. Per ogni query, calcola precision_at_k, recall_at_k, reciprocal_rank e ndcg_at_k (tratta un documento recuperato come pertinenza 1 se è nell'insieme pertinente, altrimenti 0, e costruisci l'ideale dall'intero insieme pertinente: un 1 per ogni documento pertinente). Restituisci un dict con mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (ognuna arrotondata a 4 cifre), un DataFrame pandas per_query (una riga per query), e una lista failures di ogni query il cui reciprocal rank era 0.0.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.