Lehrplan Lektion 162 von 250 · Bewertung von RAG & Retrieval
Bewertung von RAG & Retrieval

Mittlerer Kehrwert des Rangs

Präzision und Recall behandeln die Top k wie einen Beutel: ein relevantes Dokument an Position 1 zählt genauso wie eines an Position 5. Aber der Rang ist wichtig. Ein Nutzer liest von oben und ein RAG prompt verlässt sich meist am stärksten auf den ersten Chunk. Mean Reciprocal Rank (MRR) belohnt das Erhalten eines relevanten Ergebnisses high.

Für eine einzelne Abfrage ist der reciprocal rank 1 / (rank of the first relevant doc), wobei die Ränge ab 1 gezählt werden. Wenn das erste relevante Dokument an Position 1 steht, erhältst du 1.0; an Position 2 erhältst du 0.5; an Position 3, 1/3. Wenn überhaupt kein relevantes Dokument erscheint, ist der Score 0.0. Nur der erste Treffer zählt, was genau das richtige Modell für „erschien die Antwort dort, wo der Nutzer (oder das Modell) suchen wird?“ ist.

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR ist einfach der Mittelwert dieser reziproken Ränge über eine ganze Menge von Abfragen. Zwei Abfragen mit den Scores 1.0 und 0.5 geben einen MRR von 0.75. Es ist die Standard-Schlagzahl für Question-Answering-Retrieval, wo jede Abfrage typischerweise eine richtige Antwort hat, die du zuerst oberflächig sehen willst.

Was zu bauen ist.

  • reciprocal_rank(retrieved, relevant) -> gehe die sortierte Liste durch, und sobald du ein Dokument in relevant triffst, gib 1.0 / rank zurück (Ränge beginnen bei 1). Wenn du keines triffst, gib 0.0 zurück.
  • mrr(queries) -> queries ist eine Liste von (retrieved, relevant) Paaren; berechne den Durchschnitt des Kehrwerts des Rangs jedes Paares. Eine leere Liste gibt 0.0 zurück, keinen Absturz.

Verwende enumerate(retrieved, start=1) so dass der Index bereits der Rang ist. Drücke Run um zwei Abfragen zu bewerten und den Mittelwert zu sehen.

Du bist dran

Schreibe reciprocal_rank(retrieved, relevant), das 1.0 / (rank of the first relevant doc) zurückgibt mit Rängen, die ab 1 gezählt werden, oder 0.0, wenn kein relevantes Dokument abgerufen wird. Schreibe dann mrr(queries), wobei queries eine Liste von (retrieved, relevant) Paaren ist, und gib den Mittelwert ihrer reziproken Ränge zurück (und 0.0 für eine leere Liste).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.