Gemiddelde Wederkerige Rangorde
Presisie en herroeping behandel die top k as 'n sak: 'n relevante dokument by posisie 1 tel dieselfde as een by posisie 5. Maar rang saak. 'n Gebruiker lees van bo af, en 'n RAG prompt steun gewoonlik die meeste op die eerste chunk. Mean Reciprocal Rank (MRR) beloon om 'n relevante resultaat high te kry.
Vir 'n enkele navraag is die reciprocal rank 1 / (rank of the first relevant doc), waar rangs vanaf 1 getel word. As die eerste relevante dokument by posisie 1 sit, kry jy 1.0; by posisie 2 kry jy 0.5; by posisie 3, 1/3. As geen relevante dokumente verskyn nie, is die telling 0.0. Slegs die eerste trefpunt tel, wat presies die regte model is vir "het die antwoord verskyn waar die gebruiker (of die model) sal kyk?"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR is net die gemiddelde van daardie wederkerkige rangs oor 'n hele stel navrae. Twee navrae wat 1.0 en 0.5 skoor gee 'n MRR van 0.75. Dit is die standaard hoofsyfer vir vraag-antwoord-herwinning waar elke navraag gewoonlik een regte antwoord het wat jy eerste wil sien.
Wat om te bou.
reciprocal_rank(retrieved, relevant)-> loop deur die gerangskikking, en die oomblik wanneer jy 'n doc inrelevanttref, gee1.0 / rankterug (rangs begin by 1). As jy nooit een tref nie, gee0.0terug.mrr(queries)->queriesis 'n lys van(retrieved, relevant)pare; bereken die gemiddelde van elke paar se reciprocal rank. 'n Leë lys gee0.0terug, nie 'n crash nie.
Gebruik enumerate(retrieved, start=1) sodat die indeks reeds die rang is. Druk Run om twee navrae te tel en die gemiddelde te sien.
Skryf reciprocal_rank(retrieved, relevant) wat 1.0 / (rank of the first relevant doc) teruggee met rangs wat vanaf 1 getel word, of 0.0 as geen relevante dokument herwin word. Skryf dan mrr(queries) waar queries 'n lys van (retrieved, relevant) pare is, wat die gemiddelde van hul wederkerige rangs teruggee (en 0.0 vir 'n leë lys).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.