Gemiddelde reciproque rangschikking
Precisie en recall behandelen de top k als een zak: een relevant document op positie 1 telt even zwaar als een op positie 5. Maar rangorde is belangrijk. Een gebruiker leest van bovenaf en een RAG prompt leunt meestal het zwaarst op het eerste chunk. Mean Reciprocal Rank (MRR) beloont het krijgen van een relevant resultaat high.
Voor een enkele query is de reciprocal rank 1 / (rank of the first relevant doc), waarbij je de rangnummers vanaf 1 telt. Als het eerste relevante document op positie 1 staat, krijg je een score van 1.0; op positie 2 krijg je een score van 0.5; op positie 3, 1/3. Als er helemaal geen relevant document verschijnt, is de score 0.0. Alleen de eerste hit telt, wat precies het juiste model is voor "verscheen het antwoord waar de gebruiker (of het model) zal kijken?"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR is gewoon het gemiddelde van die wederkerige rangschikkingen over een hele set queries. Twee queries met scores 1.0 en 0.5 geven een MRR van 0.75. Het is het standaard hoofdcijfer voor vraag-antwoord retrieval, waarbij elke query meestal één juist antwoord heeft dat je als eerste wilt zien.
Wat je gaat bouwen.
reciprocal_rank(retrieved, relevant)-> loop door de gerangschikte lijst, en op het moment dat je een doc inrelevanttegenkomt, geef je1.0 / rankterug (rangschikkingen beginnen bij 1). Als je er nooit een tegenkomt, geef je0.0terug.mrr(queries)->queriesis een lijst van(retrieved, relevant)paren; bereken het gemiddelde van de reciproque rang van elk paar. Een lege lijst geeft0.0terug, geen crash.
Gebruik enumerate(retrieved, start=1) zodat de index al de rang is. Druk op Run om twee queries te scoren en de gemiddelde te zien.
Schrijf reciprocal_rank(retrieved, relevant) die 1.0 / (rank of the first relevant doc) teruggeeft met rangnummers vanaf 1, of 0.0 als er geen relevant doc wordt opgehaald. Schrijf dan mrr(queries) waar queries een lijst is van (retrieved, relevant) paren, die de gemiddelde van hun reciproque rangnummers teruggeeft (en 0.0 voor een lege lijst).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.