Evalueer de Agent Trace
Het laatste stuk van het project is het stuk dat het meest wordt overgeslagen en het meest telt op een cv: evaluation. Iedereen kan een agent bouwen die werkt in een demo. De engineer die wordt aangenomen is degene die kan bewijzen dat het werkt, ziet wanneer het stilletjes het verkeerde doet, en netjes faalt wanneer het niet kan antwoorden. Je gaat de trace scoren die je agent produceerde en een fallback toevoegen voor wanneer het opgeeft.
Samenvatting van de trace uit les 2: een geordende lijst van (thought, tool, args, observation) tuples. Om een run te beoordelen vergelijk je wat de agent daadwerkelijk deed met wat hij vermeende te doen.
Schrijf score_run(trace, expected_tools, expected_answer) die een dictionary retourneert met drie velden:
"tools_ok": gebruikte de agent de juiste tools in de juiste volgorde? Haal de naam van de tool uit elke stap en vergelijk de volgorde metexpected_tools. Een verkeerde of ontbrekende tool maakt ditFalse. Dit is hoe je een agent vangt die het juiste antwoord via de verkeerde route bereikte (wat bij de volgende invoer zal falen)."answer_ok": produceerde de laatste stap het juiste antwoord? Het uiteindelijke antwoord is de observatie van de laatste stap. Vergelijk het metexpected_answer. Een run die nooit een antwoord produceerde (lege trace) isanswer_ok = False."steps": hoeveel stappen de run kostte (len(trace)) -> jouw kosten/latentiesignaal.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}Dan het vangnet. answer_or_fallback(trace) draait op live verzoeken, waar niemand het juiste antwoord weet, dus het kan niet vergelijken met één (dat is wat score_run offline doet, op je testset). Het vertrouwt een run alleen wanneer de laatste stap een finish stap is met een echt antwoord, en anders geeft het de vaste string "unable to answer" terug: een run die zijn staplimiet bereikte, stopte bij een zoekopdracht, of eindigde op "not found". In productie is dit wat je naar de gebruiker teruggeeft in plaats van een hallucinatie of een stack trace.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observationDe grader voert een correcte run in (alles True), een run die het verkeerde hulpmiddel gebruikte (tools_ok is False maar het antwoord kan nog steeds overeenkomen), en een run zonder antwoord (answer_ok is False), plus willekeurige traces vergeleken met een inline referentie zodat geen constante scorer doorglipt. Krijg dit groen en de koptekst schrijft zichzelf: bouwde een tool-gebruikende ReAct agent met loop guards en trace eval. Druk op Run.
Schrijf score_run(trace, expected_tools, expected_answer) over een trace van (thought, tool, args, observation) tuples, en retourneer {"tools_ok", "answer_ok", "steps"}: tools_ok is of de reeks toolnamen gelijk is aan expected_tools; answer_ok is of de observatie van de laatste stap gelijk is aan expected_answer (False voor een lege trace); steps is len(trace). Schrijf dan answer_or_fallback(trace), de check die je uitvoert op een live request, waar geen verwacht antwoord bestaat: retourneer de uiteindelijke observatie alleen wanneer de laatste stap een "finish" stap is en de observatie daarvan niet None of "not found" is; anders retourneer de string "unable to answer". (score_run is voor je offline testset, waar je de antwoorden weet; answer_or_fallback is voor productie, waar je dat niet weet.)
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.