Evalueer die Assistent (P@k + Answer Accuracy + Gate)
Hierdie is die les wat die tweede helfte van jou CV-reël verdien: en geëvalueer. Enige iemand kan 'n RAG-demo opstel. Wat 'n junior skei van iemand wat jy sou aanstel om 'n produksie-assistent te bestuur, is die vermoë om dit te meet en om 'n slegte verandering van versending te stop. Jy gaan die evaluation harness en die regression gate bou.
Jy evalueer teen 'n gold set: 'n klein gelabelde lys waar elke geval 'n query, die ids van die relevante artikele, en die verwagte antwoordteks het. Twee families van metriek:
- Ophaalgehalte --
precision_at_k: van die top-k ids wat jou retriever teruggegee het, watter fraksie is relevant. Dit vertel jou of die bot selfs na die regte artikele kyk. - Antwoordkwaliteit -- akkuraatheid van die geproduseerde antwoord teen die verwagte teks, in twee modes:
contains(die verwagte snippet verskyn in die antwoord, ongevoelig vir hoofletters) enexact('n gesnyde presiese ooreenstemming).containsis die meer verdofende, realistiese een vir vrye teks antwoorde.
Bou hierdie:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k: die fraksie van die eerste k verkryde ids wat in die relevante stel is; 0.0 vir 'n leë verkryging. answer_accuracy: 1.0 of 0.0 vir een voorspelling, met inagnoming van die mode.
evaluate(config) bind dit saam. Die config dict bevat die gold list, 'n retriever function (query -> ranked ids), 'n answerer function (query -> text), en die settings k en mode. Draai elke gold case en gee 'n dict terug met ten minste n (cases scored), precision_at_k (gemiddelde oor cases, afgerond tot 4 plekke), en answer_accuracy (gemiddelde, afgerond tot 4). 'n empty gold set mag nie vasbrand nie -- gee nulle terug.
regression_gate(old, new) is die CI-wagter wat jy in 'n pull request sou aansluit: gee True terug net as die nuwe run nie op die gegateerde metriek verseng het nie (answer_accuracy by verstaan) -- gelyk of beter is reg, 'n daling gee False terug. Dit is die ding wat, in die regte lewe, 'n prompt-aanpassing keer om kwaliteit stilweg te vernietig. Druk Run om 'n perfekte bot en 'n gebreekte een te skoor en kyk hoe die gate die regressie stop.
Bou die evalueringsharnas oor 'n gelabelde gold set. precision_at_k(retrieved, relevant, k) vir oorswaal en answer_accuracy(predicted, expected, mode) (contains / exact) vir antwoorde. evaluate(config) hardloop die gold set (met retriever en answerer funksieses, k, mode) en gee 'n metrics dict van gemiddeltes (n, precision_at_k, answer_accuracy) terug, leeg-veilig. regression_gate(old, new) gee True terug net as antwoordakkuratesse nie gedaal het nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.