エージェントのトレースを評価する
プロジェクトの最後の部品は、いちばん飛ばされがちで、履歴書ではいちばん大切なものです:評価です。デモで動くエージェントをつなぐことは誰にでもできます。雇われるエンジニアは、それが動くことを証明し、黙って間違ったことをしたときに捕まえ、答えられないときに穏やかに失敗できる人です。エージェントが生み出したトレースを採点し、あきらめたときのための代わりの手を加えます。
レッスン 2 のトレースを思い出しましょう:(thought, tool, args, observation) のタプルの順番のあるリストです。実行を採点するには、エージェントが実際にしたことと、するはずだったことを比べます。
3 つのフィールドを持つ辞書を返す score_run(trace, expected_tools, expected_answer) を書いてください:
"tools_ok":エージェントは正しいツールを正しい順番で使ったか?各ステップからツール名を取り出し、その並びをexpected_toolsと比べます。間違ったツールや欠けたツールがあればFalseになります。これで、間違った道筋で正しい答えにたどり着いたエージェント(次の入力で壊れます)を捕まえられます。"answer_ok":最後のステップは正しい答えを生んだか?最終的な答えは最後のステップの観察です。それをexpected_answerと比べます。答えを一度も生まなかった実行(空のトレース)はanswer_ok = Falseです。"steps":実行が何ステップかかったか(len(trace)) -> コストと遅延の合図です。
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}それから安全網です。answer_or_fallback(trace) は、誰も正しい答えを知らないライブのリクエストで実行されるので、答えと比べることはできません(それはオフラインで、テスト用のデータで score_run がすることです)。最後のステップが本物の答えを持つ finish のステップのときだけ実行を信頼し、そうでなければ決まった文字列 "unable to answer" を返します:ステップの上限に達した実行、search で止まった実行、"not found" で終わった実行です。本番では、ハルシネーションやスタックトレースの代わりに、これをユーザーに返します。
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observation採点プログラムは、正しい実行(すべて True)、間違ったツールを使った実行(tools_ok は False だが答えは一致するかもしれない)、答えのない実行(answer_ok は False)を食べさせ、さらにどんな定数の採点関数もすり抜けないように、ランダムなトレースをインラインの参照と比べます。これが緑になれば、見出しはひとりでに書けます:ループの守りとトレースの評価を備えた、ツールを使う ReAct エージェントを作った。実行を押してください。
(thought, tool, args, observation) のタプルのトレースについて、{"tools_ok", "answer_ok", "steps"} を返す score_run(trace, expected_tools, expected_answer) を書いてください:tools_ok はツール名の並びが expected_tools に等しいかどうか、answer_ok は最後のステップの観察が expected_answer に等しいかどうか(空のトレースなら False)、steps は len(trace) です。それから、期待される答えが存在しないライブのリクエストで実行する確認 answer_or_fallback(trace) を書きます:最後のステップが "finish" のステップで、その観察が None でも "not found" でもないときだけ最後の観察を返し、そうでなければ文字列 "unable to answer" を返します。(score_run は答えがわかっているオフラインのテスト用データのためのもので、answer_or_fallback は答えがわからない本番のためのものです。)
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。