Kurrikulum Leson 162 van 250 · Evaluering van RAG & Retrieval
Evaluering van RAG & Retrieval

Gemiddelde Wederkerige Rangorde

Presisie en herroeping behandel die top k as 'n sak: 'n relevante dokument by posisie 1 tel dieselfde as een by posisie 5. Maar rang saak. 'n Gebruiker lees van bo af, en 'n RAG prompt steun gewoonlik die meeste op die eerste chunk. Mean Reciprocal Rank (MRR) beloon om 'n relevante resultaat high te kry.

Vir 'n enkele navraag is die reciprocal rank 1 / (rank of the first relevant doc), waar rangs vanaf 1 getel word. As die eerste relevante dokument by posisie 1 sit, kry jy 1.0; by posisie 2 kry jy 0.5; by posisie 3, 1/3. As geen relevante dokumente verskyn nie, is die telling 0.0. Slegs die eerste trefpunt tel, wat presies die regte model is vir "het die antwoord verskyn waar die gebruiker (of die model) sal kyk?"

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR is net die gemiddelde van daardie wederkerkige rangs oor 'n hele stel navrae. Twee navrae wat 1.0 en 0.5 skoor gee 'n MRR van 0.75. Dit is die standaard hoofsyfer vir vraag-antwoord-herwinning waar elke navraag gewoonlik een regte antwoord het wat jy eerste wil sien.

Wat om te bou.

  • reciprocal_rank(retrieved, relevant) -> loop deur die gerangskikking, en die oomblik wanneer jy 'n doc in relevant tref, gee 1.0 / rank terug (rangs begin by 1). As jy nooit een tref nie, gee 0.0 terug.
  • mrr(queries) -> queries is 'n lys van (retrieved, relevant) pare; bereken die gemiddelde van elke paar se reciprocal rank. 'n Leë lys gee 0.0 terug, nie 'n crash nie.

Gebruik enumerate(retrieved, start=1) sodat die indeks reeds die rang is. Druk Run om twee navrae te tel en die gemiddelde te sien.

Jou beurt

Skryf reciprocal_rank(retrieved, relevant) wat 1.0 / (rank of the first relevant doc) teruggee met rangs wat vanaf 1 getel word, of 0.0 as geen relevante dokument herwin word. Skryf dan mrr(queries) waar queries 'n lys van (retrieved, relevant) pare is, wat die gemiddelde van hul wederkerige rangs teruggee (en 0.0 vir 'n leë lys).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.