Programma Lezione 216 di 250 · Progetto: copilota per l'assistenza clienti
Progetto: copilota per l'assistenza clienti

Valutare l'assistente (P@k + accuratezza delle risposte + cancello)

Questa è la lezione che si guadagna la seconda metà della riga del tuo curriculum: e valutato. Chiunque può collegare una demo RAG. Ciò che separa un junior da qualcuno che assumeresti per occuparsi di un assistente di produzione è la capacità di misurarlo e di impedire che una modifica cattiva venga rilasciata. Costruirai il banco di valutazione e il cancello contro le regressioni.

Valuti rispetto a un insieme di riferimento: una piccola lista etichettata in cui ogni caso ha una query, gli id degli articoli pertinenti, e il testo di risposta atteso. Due famiglie di metriche:

  • Qualità del recupero: precision_at_k: dei primi k id restituiti dal tuo recuperatore, che frazione è pertinente. Ti dice se il bot sta almeno guardando gli articoli giusti.
  • Qualità delle risposte: l'accuratezza della risposta prodotta rispetto al testo atteso, in due modalità: contains (il pezzo atteso compare nella risposta, senza distinguere maiuscole) ed exact (una corrispondenza esatta dopo la ripulitura). contains è quella indulgente e realistica per le risposte in testo libero.

Costruisci queste:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: la frazione dei primi k id recuperati che sono nell'insieme pertinente; 0.0 per un recupero vuoto. answer_accuracy: 1.0 o 0.0 per una previsione, rispettando la modalità.

evaluate(config) lega tutto insieme. Il dict config porta la lista gold, una funzione retriever (query -> id ordinati), una funzione answerer (query -> testo), e le impostazioni k e mode. Fai girare ogni caso di riferimento e restituisci un dict con almeno n (casi valutati), precision_at_k (media sui casi, arrotondata a 4 cifre), e answer_accuracy (media, arrotondata a 4). Un insieme di riferimento vuoto non deve mandare tutto in crash: restituisci zeri.

regression_gate(old, new) è la guardia di CI che collegheresti a una pull request: restituisci True solo se la nuova esecuzione non è peggiorata sulla metrica controllata (answer_accuracy di default); uguale o migliore va bene, un calo restituisce False. È la cosa che, nella vita vera, impedisce a una modifica del prompt di affondare in silenzio la qualità. Premi Run per valutare un bot perfetto e uno rotto e guardare il cancello fermare la regressione.

Tocca a te

Costruisci il banco di valutazione su un insieme di riferimento etichettato. precision_at_k(retrieved, relevant, k) per il recupero e answer_accuracy(predicted, expected, mode) (contains / exact) per le risposte. evaluate(config) fa girare l'insieme di riferimento (con le funzioni retriever e answerer, k, mode) e restituisce un dict di metriche medie (n, precision_at_k, answer_accuracy), sicuro con il vuoto. regression_gate(old, new) restituisce True solo se l'accuratezza delle risposte non è scesa.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.