Avalie o Agent Trace
A última parte do projeto é a que mais é pulada e a que mais importa em um currículo: evaluation. Qualquer um pode configurar um agente que funciona em uma demo. O engenheiro que é contratado é aquele que consegue provar que funciona, detectar quando ele faz a coisa errada silenciosamente e falhar graciosamente quando não consegue responder. Você vai pontuar o trace que seu agente produziu e adicionar um fallback para quando ele desistir.
Relembre o trace da lição 2: uma lista ordenada de (thought, tool, args, observation) tuplas. Para dar uma nota a uma execução você compara o que o agente realmente fez contra o que ele deveria fazer.
Escreva score_run(trace, expected_tools, expected_answer) retornando um dicionário com três campos:
"tools_ok": o agente usou as ferramentas certas na ordem certa? Extraia o nome da ferramenta de cada step e compare a sequência comexpected_tools. Uma ferramenta errada ou ausente torna issoFalse. É assim que você pega um agente que chegou à resposta certa pelo caminho errado (o que vai falhar na próxima entrada)."answer_ok": o passo final produziu a resposta certa? A resposta final é a observação do último passo. Compare comexpected_answer. Uma execução que nunca produziu uma resposta (trace vazio) éanswer_ok = False."steps": quantos passos a execução levou (len(trace)) -> seu sinal de custo/latência.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}Depois a rede de segurança. answer_or_fallback(trace) roda em requisições ao vivo, onde ninguém sabe a resposta certa, então não pode comparar com uma (é isso que o score_run faz offline, no seu conjunto de teste). Ele confia em uma execução apenas quando o último passo é um passo finish com uma resposta real, e caso contrário retorna a string fixa "unable to answer": uma execução que atingiu seu limite de passos, parou em uma busca, ou terminou em "not found". Em produção é isso que você retorna para o usuário em vez de uma alucinação ou um stack trace.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observationO avaliador recebe uma execução correta (tudo True), uma execução que usou a ferramenta errada (tools_ok é False mas a resposta ainda pode coincidir), e uma execução sem resposta (answer_ok é False), além de traços aleatórios comparados a uma referência inline para que nenhum avaliador constante escape. Consiga esse verde e o título se escreve sozinho: construiu um agente ReAct que usa ferramentas com travas de laço e avaliação de traço. Pressione Run.
Escreva score_run(trace, expected_tools, expected_answer) sobre um traço de tuplas (thought, tool, args, observation), retornando {"tools_ok", "answer_ok", "steps"}: tools_ok é se a sequência de nomes de ferramentas é igual a expected_tools; answer_ok é se a observação do último passo é igual a expected_answer (False para um traço vazio); steps é len(trace). Então escreva answer_or_fallback(trace), a verificação que você executa em uma requisição ao vivo, onde nenhuma resposta selada existe: retorne a observação final apenas quando o último passo for um passo "finish" e sua observação não for nem None nem "not found"; caso contrário retorne a string "unable to answer". (score_run é para o seu conjunto de testes offline, onde você conhece as respostas; answer_or_fallback é para produção, onde você não conhece.)
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.