Programma Lezione 233 di 250 · Progetto: un agente di ricerca che usa strumenti
Progetto: un agente di ricerca che usa strumenti

Valutare la traccia dell'agente

L'ultimo pezzo del progetto è quello che si salta più spesso e che conta di più in un curriculum: la valutazione. Chiunque può collegare un agente che funziona in una demo. L'ingegnere che viene assunto è quello che sa dimostrare che funziona, accorgersi quando fa in silenzio la cosa sbagliata, e fallire con garbo quando non sa rispondere. Darai un punteggio alla traccia prodotta dal tuo agente e aggiungerai un ripiego per quando si arrende.

Ricorda la traccia della lezione 2: una lista ordinata di tuple (thought, tool, args, observation). Per valutare un'esecuzione confronti ciò che l'agente ha fatto davvero con ciò che avrebbe dovuto fare.

Scrivi score_run(trace, expected_tools, expected_answer) che restituisce un dict con tre campi:

  • "tools_ok": l'agente ha usato gli strumenti giusti nell'ordine giusto? Estrai il nome dello strumento da ogni passo e confronta la sequenza con expected_tools. Uno strumento sbagliato o mancante rende questo False. È così che becchi un agente che è arrivato alla risposta giusta per la strada sbagliata (che si romperà con il prossimo input).
  • "answer_ok": l'ultimo passo ha prodotto la risposta giusta? La risposta finale è l'osservazione dell'ultimo passo. Confrontala con expected_answer. Un'esecuzione che non ha mai prodotto una risposta (traccia vuota) è answer_ok = False.
  • "steps": quanti passi ha richiesto l'esecuzione (len(trace)) -> il tuo segnale di costo e latenza.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

Poi la rete di sicurezza. answer_or_fallback(trace) gira sulle richieste dal vivo, dove nessuno conosce la risposta giusta, quindi non può confrontarsi con una (è ciò che fa score_run offline, sul tuo insieme di test). Si fida di un'esecuzione solo quando l'ultimo passo è un passo finish con una vera risposta, e altrimenti restituisce la stringa fissa "unable to answer": un'esecuzione che ha raggiunto il suo limite di passi, si è fermata su un search, o è finita su "not found". In produzione è ciò che restituisci all'utente invece di un'allucinazione o di uno stack trace.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

Il correttore passa un'esecuzione giusta (tutto True), un'esecuzione che ha usato lo strumento sbagliato (tools_ok è False ma la risposta può comunque coincidere), e un'esecuzione senza risposta (answer_ok è False), più tracce casuali confrontate con un riferimento scritto in linea così nessun valutatore costante passa inosservato. Fallo diventare verde e il titolo si scrive da solo: ho costruito un agente ReAct che usa strumenti con protezioni dei cicli e valutazione delle tracce. Premi Run.

Tocca a te

Scrivi score_run(trace, expected_tools, expected_answer) su una traccia di tuple (thought, tool, args, observation), che restituisce {"tools_ok", "answer_ok", "steps"}: tools_ok indica se la sequenza dei nomi degli strumenti è uguale a expected_tools; answer_ok indica se l'osservazione dell'ultimo passo è uguale a expected_answer (False per una traccia vuota); steps è len(trace). Poi scrivi answer_or_fallback(trace), il controllo che fai girare su una richiesta dal vivo, dove non esiste una risposta attesa: restituisci l'osservazione finale solo quando l'ultimo passo è un passo "finish" e la sua osservazione non è né None né "not found"; altrimenti restituisci la stringa "unable to answer". (score_run è per il tuo insieme di test offline, dove conosci le risposte; answer_or_fallback è per la produzione, dove non le conosci.)

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.