에이전트 추적 평가하기
프로젝트의 마지막 조각은 가장 많이 건너뛰지만 이력서에서 가장 중요한 거예요: 평가. 누구나 데모에서 작동하는 에이전트를 연결할 수 있어요. 채용되는 엔지니어는 그게 작동한다는 걸 증명하고, 조용히 잘못된 일을 할 때 잡아내고, 답할 수 없을 때 우아하게 실패하게 할 수 있는 사람이에요. 에이전트가 만든 추적에 점수를 매기고 포기할 때를 위한 대비책을 더할 거예요.
레슨 2의 추적을 떠올리세요: (thought, tool, args, observation) 튜플의 순서 있는 리스트. 실행을 채점하려면 에이전트가 실제로 한 일을 해야 했던 일과 비교해요.
세 필드가 있는 dict를 돌려주는 score_run(trace, expected_tools, expected_answer)를 쓰세요:
"tools_ok": 에이전트가 올바른 도구를 올바른 순서로 썼나요? 각 단계에서 도구 이름을 뽑아 그 순서를expected_tools와 비교해요. 틀리거나 빠진 도구는 이걸False로 만들어요. 이렇게 틀린 경로로 맞는 답에 이른 에이전트를 잡아요(다음 입력에서 망가질 거예요)."answer_ok": 마지막 단계가 맞는 답을 냈나요? 최종 답은 마지막 단계의 관찰이에요. 그걸expected_answer와 비교해요. 답을 결코 내지 못한 실행(빈 추적)은answer_ok = False예요."steps": 실행이 몇 단계 걸렸는지(len(trace)) -> 비용/지연 신호.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}그다음 안전망. answer_or_fallback(trace)는 아무도 정답을 모르는 실시간 요청에서 돌아가니, 정답과 비교할 수 없어요(그건 score_run이 테스트 세트에서 오프라인으로 하는 일이에요). 마지막 단계가 진짜 답이 있는 finish 단계일 때만 실행을 믿고, 아니면 고정 문자열 "unable to answer"를 돌려줘요: 단계 한도에 닿았거나, search에서 멈췄거나, "not found"로 끝난 실행. 운영에서는 이게 환각이나 스택 추적 대신 사용자에게 돌려주는 거예요.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observation채점기는 올바른 실행(모두 True), 틀린 도구를 쓴 실행(tools_ok는 False이지만 답은 여전히 맞을 수 있어요), 답이 없는 실행(answer_ok는 False), 그리고 상수 채점기가 빠져나가지 못하도록 안에 둔 참고 답안과 비교하는 무작위 추적을 넣어요. 이걸 초록으로 만들면 한 줄 요약은 저절로 써져요: 반복 방지 장치와 추적 평가가 있는 도구를 쓰는 ReAct 에이전트를 만들었어요. Run을 누르세요.
(thought, tool, args, observation) 튜플의 추적에 대해 {"tools_ok", "answer_ok", "steps"}를 돌려주는 score_run(trace, expected_tools, expected_answer)를 쓰세요: tools_ok는 도구 이름의 순서가 expected_tools와 같은지, answer_ok는 마지막 단계의 관찰이 expected_answer와 같은지(빈 추적은 False), steps는 len(trace)예요. 그다음 기대 답이 없는 실시간 요청에서 돌리는 확인인 answer_or_fallback(trace)를 쓰세요: 마지막 단계가 "finish" 단계이고 그 관찰이 None도 "not found"도 아닐 때만 최종 관찰을 돌려주고, 아니면 문자열 "unable to answer"를 돌려주세요. (score_run은 답을 아는 오프라인 테스트 세트용이고, answer_or_fallback은 답을 모르는 운영용이에요.)
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.