Mean Reciprocal Rank
Precision e recall trattano i primi k come un sacco: un documento pertinente in posizione 1 conta come uno in posizione 5. Ma la posizione conta. Un utente legge dall'alto, e un prompt RAG di solito si appoggia di più sul primo pezzo. Il Mean Reciprocal Rank (MRR) premia il fatto di avere un risultato pertinente in alto.
Per una singola query, il reciprocal rank è 1 / (rank of the first relevant doc), contando le posizioni da 1. Se il primo documento pertinente sta in posizione 1 ottieni 1.0; in posizione 2 ottieni 0.5; in posizione 3, 1/3. Se non compare nessun documento pertinente, il punteggio è 0.0. Conta solo il primo risultato, ed è esattamente il modello giusto per "la risposta è comparsa dove l'utente (o il modello) guarderà?"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5L'MRR è semplicemente la media di quei reciprocal rank su tutto un insieme di query. Due query che ottengono 1.0 e 0.5 danno un MRR di 0.75. È il numero di riferimento standard per il recupero nei sistemi di domande e risposte, dove ogni query di solito ha una sola risposta giusta che vuoi far emergere per prima.
Che cosa costruire.
reciprocal_rank(retrieved, relevant)-> percorri la lista ordinata, e nel momento in cui trovi un documento inrelevantrestituisci1.0 / rank(le posizioni partono da 1). Se non ne trovi mai uno, restituisci0.0.mrr(queries)->queriesè una lista di coppie(retrieved, relevant); fai la media del reciprocal rank di ogni coppia. Una lista vuota restituisce0.0, non un crash.
Usa enumerate(retrieved, start=1) così l'indice è già la posizione. Premi Run per valutare due query e vedere la media.
Scrivi reciprocal_rank(retrieved, relevant) che restituisce 1.0 / (rank of the first relevant doc) con le posizioni contate da 1, o 0.0 se non viene recuperato nessun documento pertinente. Poi scrivi mrr(queries) dove queries è una lista di coppie (retrieved, relevant), che restituisce la media dei loro reciprocal rank (e 0.0 per una lista vuota).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.