Precision@k e Recall@k
Prima di mettere a punto anche un solo prompt, rispondi a una domanda più difficile: il recuperatore trova almeno i documenti giusti? Un sistema RAG ha due metà, recupero e generazione, e falliscono in modi diversi. Se tornano i pezzi sbagliati, nessuna lucidatura del prompt ti salva. Quindi misuriamo il recupero da solo, rispetto a un insieme etichettato di documenti pertinenti per ogni query, con due numeri che ogni ingegnere della ricerca conosce a memoria.
La Precision@k chiede: dei primi k documenti che ho restituito, che frazione era davvero pertinente? È la metrica di "quanta spazzatura ho mostrato all'utente".
precision@k = (relevant docs in the top k) / (number of docs in the top k)La Recall@k chiede il contrario: di tutti i documenti che erano pertinenti, che frazione sono riuscito a far emergere nei primi k? È la metrica di "quanto mi sono perso".
recall@k = (relevant docs in the top k) / (total number of relevant docs)Facciamo un esempio concreto. Recuperi ["a", "b", "c"] e l'insieme pertinente è {"a", "c"}. Con k=3, due dei tre documenti restituiti sono pertinenti, quindi la precision è 2/3. Sono stati trovati entrambi i documenti pertinenti, quindi la recall è 1.0. Le due si tirano a vicenda: allarga k e la recall sale mentre la precision di solito scende.
Che cosa costruire. Due funzioni pure:
precision_at_k(retrieved, relevant, k)-> la frazione dei primikID recuperati che sono inrelevant. Dividi per quanti documenti hai davvero nei primik(così una lista corta o unkgrande non dividono mai per il numero sbagliato).recall_at_k(retrieved, relevant, k)-> la frazione direlevantcatturata nei primik, dividendo perlen(relevant).
Fai attenzione ai bordi che provano i test: k più grande della lista recuperata, e un insieme pertinente vuoto (restituisci 0.0, non dividere mai per zero). Tratta relevant come un set per controllare l'appartenenza velocemente. In un vero banco di prova gli daresti l'uscita del tuo archivio di vettori; qui vengono valutate direttamente su liste etichettate.
Una nota sull'ambito: questo modulo copre Precision@k, Recall@k, MRR e NDCG. I team di ricerca riportano spesso anche la MAP (mean average precision), che fa la media della precision misurata a ogni risultato pertinente su un insieme di query; le quattro metriche qui sono il punto di partenza più comune.
Premi Run per valutare un ordinamento.
Scrivi precision_at_k(retrieved, relevant, k) (la frazione dei primi k ID recuperati che sono nell'insieme relevant, divisa per il numero di documenti che ci sono davvero nei primi k) e recall_at_k(retrieved, relevant, k) (la frazione dell'insieme relevant catturata nei primi k, divisa per len(relevant)). Entrambe devono restituire 0.0 nei casi limite vuoti (recupero vuoto, insieme pertinente vuoto) invece di andare in crash.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.