Kurrikulum Leson 161 van 250 · Evaluering van RAG & Retrieval
Evaluering van RAG & Retrieval

Presisie@k en Terugroep@k

Voordat jy een enkele prompt aanpas, beantwoord 'n moeiliker vraag: vind die retriever selfs die regte dokumente? 'n RAG-stelsel het twee dele, retrieval en generation, en hulle faal op verskillende maniere. As die verkeerde chunks terugkom, red geen hoeveelheid prompt-polishing jou nie. Ons meet dus retrieval op sy eie, teen 'n gelabelde stel van relevant dokumente per query, met twee nommers wat elke soekingenieur uit die hoof ken.

Precision@k vra: van die top k dokumente wat ek teruggegee het, watter fraksie was werklik relevant? Dit is die "hoeveel rom het ek vir die gebruiker gewys" metriek.

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k vra die teenoorgestelde: van al die dokumente wat were relevant was, watter fraksie het ek regies in die top k gekry? Dit is die "hoeveel het ek gemis" metriek.

recall@k = (relevant docs in the top k) / (total number of relevant docs)

Werk 'n konkrete voorbeeld. Jy haal ["a", "b", "c"] op en die relevante stel is {"a", "c"}. By k=3 is twee van die drie teruggegee docs relevant, so presisie is 2/3. Albei relevante docs is gevind, so herroep is 1.0. Die twee beweeg in spanning: verbreed k en herroep styg terwyl presisie gewoonlik daal.

Wat om te bou. Twee suiwer funksies:

  • precision_at_k(retrieved, relevant, k) -> die fraksie van die bo%%k tergehaalde IDs wat in relevant is. Deel deur hoeveel docs jy werklik in die bo%%k het (so 'n kort lys of 'n groot k deel nooit deur die verkeerde nommer nie).
  • recall_at_k(retrieved, relevant, k) -> die breuk van relevant wat in die boonste k gevang is, deur len(relevant).
  • te deel.

Hou die rante waar die toetse die data ondersoek dop: k groter as die verkryde lys, en 'n leëre relevante stel (return 0.0, deel nooit deur nul nie). Behandel relevant as 'n stel vir vinnige lidmaatskap. In 'n regte harnas sou jy die uitset van jou vector store hierin voer; hier word hulle direk op gelabelde lyste gegradeer.

Een nota oor omvang: hierdie module dek Precision@k, Recall@k, MRR, en NDCG. Soekspanne rapporteer dikwels ook MAP (mean average precision), wat die presisie wat by elke relevante trefpunt oor 'n navraagstel gematelde word; die vier metrieke hier is die algemeenste beginpunt.

Druk Run om 'n rangtelling te kry.

Jou beurt

Skryf precision_at_k(retrieved, relevant, k) (die breuk van die top k ingehaal ID's wat in die relevant-stel is, gedeel deur die aantal dokumente wat werklik in die top k is) en recall_at_k(retrieved, relevant, k) (die breuk van die relevant-stel wat in die top k gevang is, gedeel deur len(relevant)). Albei moet 0.0 teruggee op die leë rante (leë ingehaling, leë relevante stel) in plaas daarvan om te kras.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.