Programma Les 161 van 250 · RAG & Retrieval evalueren
RAG & Retrieval evalueren

Precisie@k en recall@k

Voordat je een enkele prompt aanpast, beantwoord je een moeilijkere vraag: vindt de retriever überhaupt de juiste documenten?Een RAG-systeem heeft twee helften, retrieval en generation, en ze falen op verschillende manieren. Als de verkeerde chunks terugkomen, redt geen enkele prompt-polishing je. Daarom meten we retrieval apart, tegen een gelabelde set van relevante documenten per query, met twee getallen die elke search engineer uit zijn hoofd kent.

Precision@k vraagt: van de top k documenten die ik teruggaf, welk deel was eigenlijk relevant? Het is de "hoeveel rommel heb ik de gebruiker getoond" metriek.

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k stelt de tegenovergestelde vraag: van alle documenten die were relevant, welk deel heb ik weten te vinden in de top k? Het is de "hoeveel heb ik gemist" metriek.

recall@k = (relevant docs in the top k) / (total number of relevant docs)

Werk een concreet voorbeeld. Je haalt ["a", "b", "c"] op en de relevante set is {"a", "c"}. Bij k=3 zijn twee van de drie geretourneerde docs relevant, dus precisie is 2/3. Beide relevante docs zijn gevonden, dus recall is 1.0. De twee bewegen in spanning: maak k breder en recall stijgt terwijl precisie meestal daalt.

Wat je moet bouwen. Twee pure functies:

  • precision_at_k(retrieved, relevant, k) -> het deel van de top k opgehaalde IDs dat in relevant zit. Deel door hoeveel docs je echt hebt in de top k (zodat een korte lijst of een grote k nooit door het verkeerde getal wordt gedeeld).
  • recall_at_k(retrieved, relevant, k) -> de fractie van relevant in de bovenste k, gedeeld door len(relevant).

Let op de randen die de tests verkennen: k groter dan de opgehaalde lijst, en een lege relevante set (geef 0.0 terug, deel nooit door nul). Behandel relevant als een set voor snelle lidmaatschapskontrole. In een echte harness zou je deze de output van je vector store voeden; hier worden ze direct beoordeeld op gelabelde lijsten.

Eén opmerking over de reikwijdte: deze module behandelt Precision@k, Recall@k, MRR en NDCG. Zoekteams rapporteren vaak ook MAP (mean average precision), wat de precisie gemiddeld neemt die gemeten wordt bij elke relevante hit over een query set; de vier metrieken hier zijn het meest gebruikelijke startpunt.

Druk Run om een ranking te scoren.

Jij bent aan de beurt

Schrijf precision_at_k(retrieved, relevant, k) (het deel van de top k opgehaalde IDs dat in de relevant set zit, gedeeld door het aantal docs dat echt in de top k zit) en recall_at_k(retrieved, relevant, k) (het deel van de relevant set dat in de top k is gevangen, gedeeld door len(relevant)). Beide moeten 0.0 teruggeven bij lege randen (lege retrieval, lege relevante set) in plaats van crashen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.