评估智能体的轨迹
项目的最后一块,是最常被跳过、在简历上又最重要的那块:评估。谁都能接好一个在演示中能用的智能体。被录用的工程师,是那个能证明它管用、能发现它在悄悄做错事、并在它答不上来时优雅地失败的人。你要给你的智能体产生的轨迹打分,并在它放弃时加上一个兜底。
回想第 2 课里的轨迹:一个由 (thought, tool, args, observation) 元组组成的有序列表。要给一次运行评分,你就把智能体实际做了什么和它应该做什么进行比较。
写 score_run(trace, expected_tools, expected_answer),返回一个有三个字段的字典:
"tools_ok":智能体有没有按正确的顺序使用正确的工具?从每一步中取出工具名,把这个序列和expected_tools比较。用错或漏用一个工具都会让它为False。这就是你抓住一个走错路却到达了正确答案的智能体的方式(这样的智能体在下一个输入上就会出错)。"answer_ok":最后一步有没有给出正确的答案?最终答案是最后一步的观察结果。把它和expected_answer比较。一次从没产生过答案的运行(空轨迹)是answer_ok = False。"steps":这次运行走了多少步(len(trace)),这是你的成本/延迟信号。
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}然后是安全网。answer_or_fallback(trace) 运行在真实的请求上,那里没人知道正确答案,所以它没法和正确答案比较(那是 score_run 在你的测试集上离线做的事)。它只在最后一步是带有真实答案的 finish 步骤时才信任这次运行,否则就返回固定的字符串 "unable to answer":比如一次碰到步数上限的运行、停在一次搜索上的运行,或以 "not found" 结束的运行。在生产环境里,这就是你返回给用户的东西,而不是幻觉或一段堆栈跟踪。
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observation评分器会喂进一次正确的运行(一切为 True)、一次用错了工具的运行(tools_ok 为 False,但答案可能仍然对得上),以及一次没有答案的运行(answer_ok 为 False),再加上与内联参考实现比较的随机轨迹,所以任何常量打分器都溜不过去。让它变绿,简历上的头条自己就写好了:构建了一个带循环防护和轨迹评测、会用工具的 ReAct 智能体。按 Run。
在一条由 (thought, tool, args, observation) 元组组成的轨迹上写 score_run(trace, expected_tools, expected_answer),返回 {"tools_ok", "answer_ok", "steps"}:tools_ok 是工具名序列是否等于 expected_tools;answer_ok 是最后一步的观察结果是否等于 expected_answer(空轨迹为 False);steps 是 len(trace)。然后写 answer_or_fallback(trace),这是你在真实请求上运行的检查,那里没有期望的答案:只有当最后一步是 "finish" 步骤,并且它的观察结果既不是 None 也不是 "not found" 时,才返回最终的观察结果;否则返回字符串 "unable to answer"。(score_run 用于你知道答案的离线测试集;answer_or_fallback 用于你不知道答案的生产环境。)
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。