Präzision@k und Recall@k
Bevor du einen einzigen Prompt anpasst, beantworte eine schwierigere Frage: findet der Retriever überhaupt die richtigen Dokumente?Ein RAG-System hat zwei Hälften, Retrieval und Generation, und sie schlagen auf unterschiedliche Weise fehl. Wenn die falschen Chunks zurückkommen, rettet dich kein Prompt-Polieren der Welt. Also messen wir Retrieval für sich allein, gegen einen gelabelten Satz von relevanten Dokumenten pro Abfrage, mit zwei Zahlen, die jeder Search Engineer auswendig kennt.
Precision@k fragt: von den k Dokumenten, die ich zurückgegeben habe, welcher Anteil war tatsächlich relevant? Es ist die Metrik für „wie viel Müll habe ich dem Benutzer gezeigt“.
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k fragt das Gegenteil: Von all den Dokumenten, die were relevant waren, welchen Anteil konnte ich in den Top k finden? Es ist die "wie viel habe ich verpasst" Metrik.
recall@k = (relevant docs in the top k) / (total number of relevant docs)Ein konkretes Beispiel. Du holst ["a", "b", "c"] ab und der relevante Satz ist {"a", "c"}. Bei k=3 sind zwei der drei zurückgegebenen Dokumente relevant, also ist Präzision 2/3. Beide relevanten Dokumente wurden gefunden, also ist Recall 1.0. Die zwei bewegen sich in Spannung: Vergrößere k und Recall steigt, während Präzision meist sinkt.
Was zu bauen ist. Zwei reine Funktionen:
precision_at_k(retrieved, relevant, k)-> der Anteil der oben genanntenkabgerufenen IDs, die inrelevantsind. Teile durch die Anzahl der Dokumente, die du tatsächlich in den oberenkhast (damit eine kurze Liste oder ein großeskniemals durch die falsche Zahl geteilt wird).recall_at_k(retrieved, relevant, k)-> der Anteil vonrelevantin den oberstenk, geteilt durchlen(relevant).
Beobachte die Ränder, die die Tests prüfen: k größer als die abgerufene list, und ein leeres relevantes Set (gib 0.0 zurück, teile niemals durch Null). Behandle relevant als ein Set für schnellen Mitgliedscheck. In einem echten Harness würdest du ihnen den Output deines Vector Store geben; hier werden sie direkt auf gelabelten Listen bewertet.
Ein Hinweis zum Umfang: dieses Modul behandelt Precision@k, Recall@k, MRR und NDCG. Suchteams berichten oft auch MAP (mean average precision), welches die Precision misst, die bei jedem relevanten Treffer über einen Abfragesatz gemittelt wird; die vier Metriken hier sind der häufigste Ausgangspunkt.
Drücke Run, um eine Rangliste zu erhalten.
Schreibe precision_at_k(retrieved, relevant, k) (den Anteil der in den Top k abgerufenen IDs, die im relevant Set sind, geteilt durch die Anzahl der Dokumente, die tatsächlich in den Top k sind) und recall_at_k(retrieved, relevant, k) (den Anteil des relevant Sets, der in den Top k erfasst wird, geteilt durch len(relevant)). Beide müssen bei leeren Kanten (leere Abfrage, leeres relevantes Set) 0.0 zurückgeben, anstatt abzustürzen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.