Conteúdo do curso Lição 233 de 250 · Projeto: Agente de Pesquisa que Usa Ferramentas
Projeto: Agente de Pesquisa que Usa Ferramentas

Avalie o Agent Trace

A última parte do projeto é a que mais é pulada e a que mais importa em um currículo: evaluation. Qualquer um pode configurar um agente que funciona em uma demo. O engenheiro que é contratado é aquele que consegue provar que funciona, detectar quando ele faz a coisa errada silenciosamente e falhar graciosamente quando não consegue responder. Você vai pontuar o trace que seu agente produziu e adicionar um fallback para quando ele desistir.

Relembre o trace da lição 2: uma lista ordenada de (thought, tool, args, observation) tuplas. Para dar uma nota a uma execução você compara o que o agente realmente fez contra o que ele deveria fazer.

Escreva score_run(trace, expected_tools, expected_answer) retornando um dicionário com três campos:

  • "tools_ok": o agente usou as ferramentas certas na ordem certa? Extraia o nome da ferramenta de cada step e compare a sequência com expected_tools. Uma ferramenta errada ou ausente torna isso False. É assim que você pega um agente que chegou à resposta certa pelo caminho errado (o que vai falhar na próxima entrada).
  • "answer_ok": o passo final produziu a resposta certa? A resposta final é a observação do último passo. Compare com expected_answer. Uma execução que nunca produziu uma resposta (trace vazio) é answer_ok = False.
  • "steps": quantos passos a execução levou (len(trace)) -> seu sinal de custo/latência.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

Depois a rede de segurança. answer_or_fallback(trace) roda em requisições ao vivo, onde ninguém sabe a resposta certa, então não pode comparar com uma (é isso que o score_run faz offline, no seu conjunto de teste). Ele confia em uma execução apenas quando o último passo é um passo finish com uma resposta real, e caso contrário retorna a string fixa "unable to answer": uma execução que atingiu seu limite de passos, parou em uma busca, ou terminou em "not found". Em produção é isso que você retorna para o usuário em vez de uma alucinação ou um stack trace.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

O avaliador recebe uma execução correta (tudo True), uma execução que usou a ferramenta errada (tools_ok é False mas a resposta ainda pode coincidir), e uma execução sem resposta (answer_ok é False), além de traços aleatórios comparados a uma referência inline para que nenhum avaliador constante escape. Consiga esse verde e o título se escreve sozinho: construiu um agente ReAct que usa ferramentas com travas de laço e avaliação de traço. Pressione Run.

Sua vez

Escreva score_run(trace, expected_tools, expected_answer) sobre um traço de tuplas (thought, tool, args, observation), retornando {"tools_ok", "answer_ok", "steps"}: tools_ok é se a sequência de nomes de ferramentas é igual a expected_tools; answer_ok é se a observação do último passo é igual a expected_answer (False para um traço vazio); steps é len(trace). Então escreva answer_or_fallback(trace), a verificação que você executa em uma requisição ao vivo, onde nenhuma resposta selada existe: retorne a observação final apenas quando o último passo for um passo "finish" e sua observação não for nem None nem "not found"; caso contrário retorne a string "unable to answer". (score_run é para o seu conjunto de testes offline, onde você conhece as respostas; answer_or_fallback é para produção, onde você não conhece.)

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.