Evalueer die Agent Trace
Die laaste deel van die projek is die een wat die meeste oorgeslaan word en wat die meeste saak maak op 'n CV: evaluation. Enige iemand kan 'n agent skakel wat in 'n demo werk. Die ingenieur wat aangestel word is die een wat kan bewys dit werk, sien wanneer dit stilweg die verkeerde ding doen, en grasieus faal wanneer dit nie kan antwoord nie. Jy gaan die trace wat jou agent geproduseer het punte gee en 'n fallback byvoeg vir wanneer dit opgee.
Onthou vir die spoor van les 2: 'n geordende lys van (thought, tool, args, observation) tuples. Om 'n run te grade, vergdyk jy wat die agent werklik gedoen het teen wat dit veronderstel is om te doen.
Skryf score_run(trace, expected_tools, expected_answer) wat 'n dict met drie velde teruggee:
"tools_ok": het die agent die regte gereedskap in die regte volgorde gebruik? Haal die tool name uit elke stap uit en vergelyk die volgorde metexpected_tools. 'n Verkeerde of ontbrekende tool maak dit 'nFalse. Dit is hoe jy 'n agent vang wat die regte antwoord deur die verkeerde roete (wat sal breek by die volgende input)."answer_ok": het die finale stap die regte antwoord gelewer? Die finale antwoord is die waarneming van die laaste stap. Vergelyk dit metexpected_answer. 'n Uitvoering wat nooit 'n antwoord gelewer het (leë spoor) isanswer_ok = False."steps": hoeveel stappe die run geneem het (len(trace)) -> jou kost/latensiesignaal.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}Dan die veiligheidsnet. answer_or_fallback(trace) hardloop op lewendige versoeke, waar niemand die regte antwoord ken nie, so dit kan nie met een vergelyk nie (dit is wat score_run buite aanlyn doen, op jou toetsstel). Dit vertrou 'n uitvoering net wanneer die laaste stap 'n finish stap met 'n regte antwoord is, en anders gee dit die vaste string "unable to answer": 'n uitvoering wat sy staplimiet bereik het, gestop het op 'n soektog, of klaar is op "not found". In produksie is dit wat jy aan die gebruiker teruggee in plaas van 'n hallusinasie of 'n stack trace.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observationDie grader voer 'n korrekte uitvoering in (alles True), 'n uitvoering wat die verkeerde hulpmiddel gebruik het (tools_ok is False maar die antwoord mag steeds ooreenstem), en 'n uitvoering met geen antwoord nie (answer_ok is False), plus willekeurige spore vergeleke met 'n ingebedde verwysing sodat geen konstante grader deurgly nie. Kry hierdie groen en die opskrif skryf homself: gebou 'n hulpmiddel-gebruikende ReAct agent met loop guards en trace eval. Druk Run.
Skryf score_run(trace, expected_tools, expected_answer) oor 'n spore van (thought, tool, args, observation) tuples, en gee {"tools_ok", "answer_ok", "steps"} terug: tools_ok is of die reeks huldigname gelyk is aan expected_tools; answer_ok is of die laaste stap se waarneming gelyk is aan expected_answer (False vir 'n leë spore); steps is len(trace). Skryf dan answer_or_fallback(trace), die kontrole wat jy op 'n lewendige versoek doen, waar geen verwagte antwoord bestaan: gee die finale waarneming terug net wanneer die laaste stap 'n "finish" stap is en sy waarneming nie None of "not found" is nie; anders gee jy die string "unable to answer" terug. (score_run is vir jou aflyn-toetsstel, waar jy die antwoorde ken; answer_or_fallback is vir produksie, waar jy dit nie ken nie.)
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.