Programma Les 162 van 250 · RAG & Retrieval evalueren
RAG & Retrieval evalueren

Gemiddelde reciproque rangschikking

Precisie en recall behandelen de top k als een zak: een relevant document op positie 1 telt even zwaar als een op positie 5. Maar rangorde is belangrijk. Een gebruiker leest van bovenaf en een RAG prompt leunt meestal het zwaarst op het eerste chunk. Mean Reciprocal Rank (MRR) beloont het krijgen van een relevant resultaat high.

Voor een enkele query is de reciprocal rank 1 / (rank of the first relevant doc), waarbij je de rangnummers vanaf 1 telt. Als het eerste relevante document op positie 1 staat, krijg je een score van 1.0; op positie 2 krijg je een score van 0.5; op positie 3, 1/3. Als er helemaal geen relevant document verschijnt, is de score 0.0. Alleen de eerste hit telt, wat precies het juiste model is voor "verscheen het antwoord waar de gebruiker (of het model) zal kijken?"

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR is gewoon het gemiddelde van die wederkerige rangschikkingen over een hele set queries. Twee queries met scores 1.0 en 0.5 geven een MRR van 0.75. Het is het standaard hoofdcijfer voor vraag-antwoord retrieval, waarbij elke query meestal één juist antwoord heeft dat je als eerste wilt zien.

Wat je gaat bouwen.

  • reciprocal_rank(retrieved, relevant) -> loop door de gerangschikte lijst, en op het moment dat je een doc in relevant tegenkomt, geef je 1.0 / rank terug (rangschikkingen beginnen bij 1). Als je er nooit een tegenkomt, geef je 0.0 terug.
  • mrr(queries) -> queries is een lijst van (retrieved, relevant) paren; bereken het gemiddelde van de reciproque rang van elk paar. Een lege lijst geeft 0.0 terug, geen crash.

Gebruik enumerate(retrieved, start=1) zodat de index al de rang is. Druk op Run om twee queries te scoren en de gemiddelde te zien.

Jij bent aan de beurt

Schrijf reciprocal_rank(retrieved, relevant) die 1.0 / (rank of the first relevant doc) teruggeeft met rangnummers vanaf 1, of 0.0 als er geen relevant doc wordt opgehaald. Schrijf dan mrr(queries) waar queries een lijst is van (retrieved, relevant) paren, die de gemiddelde van hun reciproque rangnummers teruggeeft (en 0.0 voor een lege lijst).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.