Bewerte den Agent Trace
Das letzte Stück des Projekts ist das, das am häufigsten übersprungen wird und im Lebenslauf am meisten zählt: Evaluation. Jeder kann einen Agenten zusammenstecken, der in einer Demo funktioniert. Eingestellt wird, wer beweisen kann, dass er funktioniert, merkt, wenn er still das Falsche tut, und elegant scheitert, wenn er nicht antworten kann. Du bewertest den Trace, den dein Agent erzeugt hat, und fügst einen Rückfall für den Fall hinzu, dass er aufgibt.
Erinnere dich an den Trace aus Lektion 2: eine geordnete Liste von Tupeln (thought, tool, args, observation). Um einen Lauf zu bewerten, vergleichst du, was der Agent tatsächlich getan hat, mit dem, was er tun sollte.
Schreib score_run(trace, expected_tools, expected_answer), das ein Dict mit drei Feldern zurückgibt:
"tools_ok": Hat der Agent die richtigen Tools in der richtigen Reihenfolge benutzt? Hol den Tool-Namen aus jedem Schritt und vergleiche die Folge mitexpected_tools. Ein falsches oder fehlendes Tool macht dasFalse. So erwischst du einen Agenten, der die richtige Antwort auf dem falschen Weg erreicht hat (was bei der nächsten Eingabe kaputtgeht)."answer_ok": Hat der letzte Schritt die richtige Antwort geliefert? Die endgültige Antwort ist die Beobachtung des letzten Schritts. Vergleiche sie mitexpected_answer. Ein Lauf, der nie eine Antwort geliefert hat (leerer Trace), istanswer_ok = False."steps": wie viele Schritte der Lauf gebraucht hat (len(trace)) -> dein Signal für Kosten und Latenz.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}Dann das Sicherheitsnetz. answer_or_fallback(trace) läuft bei echten Anfragen, wo niemand die richtige Antwort kennt, also kann es mit keiner vergleichen (das macht score_run offline, auf deinem Testset). Es vertraut einem Lauf nur, wenn der letzte Schritt ein finish-Schritt mit einer echten Antwort ist, und gibt sonst den festen String "unable to answer" zurück: bei einem Lauf, der sein Schrittlimit erreicht hat, bei einer Suche stehen geblieben ist oder mit "not found" geendet hat. In Produktion gibst du das dem Nutzer zurück, statt einer Halluzination oder eines Stacktraces.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observationDer Prüfer füttert einen korrekten Lauf (alles True), einen Lauf mit dem falschen Tool (tools_ok ist False, aber die Antwort kann trotzdem passen) und einen Lauf ohne Antwort (answer_ok ist False), plus zufällige Traces, die mit einer eingebauten Referenz verglichen werden, damit kein konstanter Bewerter durchrutscht. Mach das grün, und die Schlagzeile schreibt sich selbst: einen Tool-nutzenden ReAct-Agenten mit Schleifenwächtern und Trace-Evaluation gebaut. Drück auf Run.
Schreibe score_run(trace, expected_tools, expected_answer) über eine Spur von (thought, tool, args, observation) Tupeln und gib {"tools_ok", "answer_ok", "steps"} zurück: tools_ok ist, ob die Sequenz der Toolnamen expected_tools entspricht; answer_ok ist, ob die Beobachtung des letzten Schritts expected_answer entspricht (False für eine leere Spur); steps ist len(trace). Schreibe dann answer_or_fallback(trace), die Prüfung, die du auf einer Live-Anfrage ausführst, wo keine erwartete Antwort existiert: gib die finale Beobachtung nur zurück, wenn der letzte Schritt ein "finish" Schritt ist und seine Beobachtung weder None noch "not found" ist; ansonsten gib den String "unable to answer" zurück. (score_run ist für deinen Offline-Testdatensatz, wo du die Antworten kennst; answer_or_fallback ist für die Produktion, wo du sie nicht kennst.)
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.