計画、振り返り、計画のやり直し
ReAct ループひとつでツール呼び出しひとつなら十分ですが、本物のタスクには 手順 があります。テーマを調べてから要約する。航空券を予約してからホテルを予約する。有能なエージェントは、行動をひとつずつその場の思いつきで決めたりしません。計画 を立て、それを進め、各ステップの後に 振り返って、続けるか、軌道を直すか、止めるかを決めます。この計画・行動・振り返りの流れのおかげで、エージェントは迷子にならずに長いタスクをやり遂げられます。
1. 目標を計画に分解する
計画とは、あいまいな目標を 順序付きのサブタスクのリスト に変えることです。本番ではモデルがこの計画を書きますが、ここではテストできるよう、決定的でキーワードに基づくものにします。考え方は同じで、出力が固定されています:
def decompose(goal):
g = goal.lower()
if "research" in g or "report" in g:
return ["gather sources", "extract facts", "write summary"]
elif "trip" in g or "travel" in g:
return ["pick dates", "book flights", "book hotel"]
return ["understand goal", "do the work", "review result"]2. 各ステップの結果を振り返る
サブタスクが実行された後、エージェントは結果を見て 制御の決定 を下します。小さな結果の辞書 {"ok": bool, "last": bool}(ステップが成功したか、最後のステップか)と、3 つの決定の候補を与えます:
"replan"- ステップが 失敗した。試したことがうまくいかなかったので、今の計画は疑わしいということです。"done"- ステップが 成功し、それが最後だった。目標は達成されました。"continue"- 成功したが、まだやることがある。次のサブタスクへ進みます。
順番が大事です。失敗は最後のステップでも "replan" を意味します(壊れた最後のステップは "done" ではありません)。
3. 失敗したら一度計画をやり直す
制御役がすべてをまとめます。計画をたどり、各ステップで execute(subtask) を呼び、それが最後かどうかを記録し、振り返ります。"continue" なら進み、"done" なら成功として止まり、"replan" なら新しい回復用の計画を作ってやり直します。ただし max_replans 回までなので、見込みのないタスクが永遠にループすることはありません(前に出てきたループ防御の規律です)。やり直しの回数を使い切ったら "failed" で止まります。
def replan(goal, failed_step):
# retry the failed step, then still do every step that came after it
base = failed_step[len("retry: "):] if failed_step.startswith("retry: ") else failed_step
plan = decompose(goal)
rest = plan[plan.index(base) + 1:] if base in plan else []
return ["retry: " + base] + restここでの execute はモックです。サブタスクに対して {"ok": ...} を返す、あなたが渡す関数で、本物のツール呼び出しの代わりを務めるので、制御役は完全に決定的でテストできます。ライブのエージェントでは、同じ制御役がロジックを変えずに、本物のツールとモデルが書いた計画を動かします。Run を押して、計画が成功するのを見てから、あるステップで失敗してやり直しで回復するのを見てみましょう。
計画の制御役を作ります。順序付きのサブタスクのリストを返す decompose(goal) を書いてください(research/report -> ["gather sources", "extract facts", "write summary"]、trip/travel -> ["pick dates", "book flights", "book hotel"]、それ以外 -> ["understand goal", "do the work", "review result"])。{"ok", "last"} に対して、ok でなければ "replan"、そうでなく last なら "done"、それ以外は "continue" を返す reflect(step_result) を書きます。replan(goal, failed_step) -> 失敗したステップを再試行し、そのうえで decompose(goal) でそれより後にあったすべてのステップも行う回復用の計画です。research の目標が "extract facts" で失敗したら ["retry: extract facts", "write summary"] です。(残りの作業を飛ばして「done」と報告する回復用の計画は、エージェントの典型的なバグです。要約は一度も書かれていません。)failed_step 自体が再試行なら、まず "retry: " の接頭辞を取り除いて、二重にならないようにします。次に run_plan(goal, execute, max_replans=1) を書きます。計画をたどり、execute(subtask)({"ok": bool} を返す)を呼び、振り返り(last はあなたが設定します)、(subtask, ok, decision) のトレースを記録し、失敗したら max_replans 回まで計画をやり直し(回復用の計画を最初のステップから始め直します)、{"status": "done"|"failed", "trace": [...], "replans": int} を返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。