Presisie@k en Terugroep@k
Voordat jy een enkele prompt aanpas, beantwoord 'n moeiliker vraag: vind die retriever selfs die regte dokumente? 'n RAG-stelsel het twee dele, retrieval en generation, en hulle faal op verskillende maniere. As die verkeerde chunks terugkom, red geen hoeveelheid prompt-polishing jou nie. Ons meet dus retrieval op sy eie, teen 'n gelabelde stel van relevant dokumente per query, met twee nommers wat elke soekingenieur uit die hoof ken.
Precision@k vra: van die top k dokumente wat ek teruggegee het, watter fraksie was werklik relevant? Dit is die "hoeveel rom het ek vir die gebruiker gewys" metriek.
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k vra die teenoorgestelde: van al die dokumente wat were relevant was, watter fraksie het ek regies in die top k gekry? Dit is die "hoeveel het ek gemis" metriek.
recall@k = (relevant docs in the top k) / (total number of relevant docs)Werk 'n konkrete voorbeeld. Jy haal ["a", "b", "c"] op en die relevante stel is {"a", "c"}. By k=3 is twee van die drie teruggegee docs relevant, so presisie is 2/3. Albei relevante docs is gevind, so herroep is 1.0. Die twee beweeg in spanning: verbreed k en herroep styg terwyl presisie gewoonlik daal.
Wat om te bou. Twee suiwer funksies:
precision_at_k(retrieved, relevant, k)-> die fraksie van die bo%%ktergehaalde IDs wat inrelevantis. Deel deur hoeveel docs jy werklik in die bo%%khet (so 'n kort lys of 'n grootkdeel nooit deur die verkeerde nommer nie).recall_at_k(retrieved, relevant, k)-> die breuk vanrelevantwat in die boonstekgevang is, deurlen(relevant). te deel.
Hou die rante waar die toetse die data ondersoek dop: k groter as die verkryde lys, en 'n leëre relevante stel (return 0.0, deel nooit deur nul nie). Behandel relevant as 'n stel vir vinnige lidmaatskap. In 'n regte harnas sou jy die uitset van jou vector store hierin voer; hier word hulle direk op gelabelde lyste gegradeer.
Een nota oor omvang: hierdie module dek Precision@k, Recall@k, MRR, en NDCG. Soekspanne rapporteer dikwels ook MAP (mean average precision), wat die presisie wat by elke relevante trefpunt oor 'n navraagstel gematelde word; die vier metrieke hier is die algemeenste beginpunt.
Druk Run om 'n rangtelling te kry.
Skryf precision_at_k(retrieved, relevant, k) (die breuk van die top k ingehaal ID's wat in die relevant-stel is, gedeel deur die aantal dokumente wat werklik in die top k is) en recall_at_k(retrieved, relevant, k) (die breuk van die relevant-stel wat in die top k gevang is, gedeel deur len(relevant)). Albei moet 0.0 teruggee op die leë rante (leë ingehaling, leë relevante stel) in plaas daarvan om te kras.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.