Mittlerer Kehrwert des Rangs
Präzision und Recall behandeln die Top k wie einen Beutel: ein relevantes Dokument an Position 1 zählt genauso wie eines an Position 5. Aber der Rang ist wichtig. Ein Nutzer liest von oben und ein RAG prompt verlässt sich meist am stärksten auf den ersten Chunk. Mean Reciprocal Rank (MRR) belohnt das Erhalten eines relevanten Ergebnisses high.
Für eine einzelne Abfrage ist der reciprocal rank 1 / (rank of the first relevant doc), wobei die Ränge ab 1 gezählt werden. Wenn das erste relevante Dokument an Position 1 steht, erhältst du 1.0; an Position 2 erhältst du 0.5; an Position 3, 1/3. Wenn überhaupt kein relevantes Dokument erscheint, ist der Score 0.0. Nur der erste Treffer zählt, was genau das richtige Modell für „erschien die Antwort dort, wo der Nutzer (oder das Modell) suchen wird?“ ist.
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR ist einfach der Mittelwert dieser reziproken Ränge über eine ganze Menge von Abfragen. Zwei Abfragen mit den Scores 1.0 und 0.5 geben einen MRR von 0.75. Es ist die Standard-Schlagzahl für Question-Answering-Retrieval, wo jede Abfrage typischerweise eine richtige Antwort hat, die du zuerst oberflächig sehen willst.
Was zu bauen ist.
reciprocal_rank(retrieved, relevant)-> gehe die sortierte Liste durch, und sobald du ein Dokument inrelevanttriffst, gib1.0 / rankzurück (Ränge beginnen bei 1). Wenn du keines triffst, gib0.0zurück.mrr(queries)->queriesist eine Liste von(retrieved, relevant)Paaren; berechne den Durchschnitt des Kehrwerts des Rangs jedes Paares. Eine leere Liste gibt0.0zurück, keinen Absturz.
Verwende enumerate(retrieved, start=1) so dass der Index bereits der Rang ist. Drücke Run um zwei Abfragen zu bewerten und den Mittelwert zu sehen.
Schreibe reciprocal_rank(retrieved, relevant), das 1.0 / (rank of the first relevant doc) zurückgibt mit Rängen, die ab 1 gezählt werden, oder 0.0, wenn kein relevantes Dokument abgerufen wird. Schreibe dann mrr(queries), wobei queries eine Liste von (retrieved, relevant) Paaren ist, und gib den Mittelwert ihrer reziproken Ränge zurück (und 0.0 für eine leere Liste).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.