Programma Les 216 van 250 · Project: copiloot voor klantenservice
Project: copiloot voor klantenservice

Evalueer de Assistant (P@k + Answer Accuracy + Gate)

Dit is de les die de tweede helft van je cv-regel oplevert: en geëvalueerd. Iedereen kan een RAG-demo bouwen. Wat een junior onderscheidt van iemand die je zou aannemen om een productie-assistent te beheren, is het vermogen om het te meten en om een slechte wijziging te voorkomen bij de release. Je bouwt de evaluatie-harnas en de regressie-poort.

Je evalueert tegen een gold set: een kleine gelabelde lijst waar elke zaak een query, de ids van de relevante artikelen en de verwachte antwoordtekst heeft. Twee families van metrieken:

  • Retrieval kwaliteit -- precision_at_k: van de top-k ids die je retriever heeft opgeleverd, welk deel is relevant. Dit vertelt je of de bot zelfs naar de juiste artikelen kijkt.
  • Antwoordkwaliteit -- nauwkeurigheid van het geproduceerde antwoord ten opzichte van de verwachte tekst, in twee modi: contains (het verwachte fragment verschijnt in het antwoord, niet hoofdlettergevoelig) en exact (een bijgesneden exacte match). contains is de tolerante, realistische optie voor vrije tekst antwoorden.

Bouw deze:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: fractie van de eerste k opgehaalde ids die in de relevante set zitten; 0.0 voor een lege ophaalactie. answer_accuracy: 1.0 of 0.0 voor één voorspelling, rekening houdend met de modus.

evaluate(config) brengt alles samen. De config dictionary bevat de gold lijst, een retriever functie (query -> ranked ids), een answerer functie (query -> text), en de instellingen k en mode. Voer elke gold case uit en retourneer een dictionary met ten minste n (cases gescoord), precision_at_k (gemiddelde over cases, afgerond op 4 plaatsen), en answer_accuracy (gemiddelde, afgerond op 4). Een empty gold set mag niet crashen -- retourneer nullen.

regression_gate(old, new) is de CI-bewaker die je in een pull request zou aansluiten: geef alleen True terug als de nieuwe run niet slechter is geworden op de gated metric (answer_accuracy standaard) -- gelijk of beter is prima, een daling geeft False. Dit is het ding dat in het echte leven een prompt aanpassing voorkomt om de kwaliteit stilletjes te laten kelderen. Druk op Run om een perfecte bot en een kapotte bot te scoren en kijk hoe de gate de regressie stopt.

Jij bent aan de beurt

Bouw de evaluatie-harness over een gelabelde gold set. precision_at_k(retrieved, relevant, k) voor retrieval en answer_accuracy(predicted, expected, mode) (contains / exact) voor antwoorden. evaluate(config) draait de gold set (met retriever en answerer functies, k, mode) en geeft een metrics dict van gemiddelden (n, precision_at_k, answer_accuracy) terug, leeg-veilig. regression_gate(old, new) geeft True alleen terug als de antwoord nauwkeurigheid niet daalde.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.