計画 + ループの守り
行動できるエージェントは、永遠に行動することもできます。本物のエージェントがお金を燃やし、当番のエンジニアを呼び出してしまういちばんの原因は、ブレーキのないループです:同じツールを呼び続け、同じ観察を得続け、終わったと決して判断しないのです。このレッスンでは、エージェントを実際に動かしても安全にする 2 つのものを加えます:目標を順番のある小さな課題に分ける小さな計画器と、暴走する前にエージェントを止めるループの守りです。
まず計画です。decompose(goal) は 1 行の目標を、番号付きの小さな課題のリストに変えます。決定的でルールに基づいたものにしておきます(本番では LLM がこれをしますが、大切なのは形です):目標を単語 "then" で分割し、各部分の前後の空白を取り除き、1 から番号を振ります。
decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]次に守りです。run_with_guard(policy, state, max_steps) は方針を 1 ステップずつ動かしますが、暴走を拒みます。ここでの方針は関数 policy(state) -> action(取りたい行動を名指しする文字列)で、行動を適用するとは、それを履歴のリストに追加するだけのことです。守りは 3 つの理由のどれかで止まり、どれだったかを報告します:
- 終わった:方針が行動
"done"を返す -> 理由"done"で止まる。 - 進展がない:方針が同じ行動を 2 回続けて返す -> 理由
"repeat"で止まる。これは、ループにはまった典型的な合図です:エージェントは観察から学んでいません。 - 予算:終わらないまま
max_stepsに達する -> 理由"max_steps"で止まる。
def run_with_guard(policy, state, max_steps):
history = []
for _ in range(max_steps):
action = policy(state)
if action == "done":
return {"history": history, "reason": "done"}
if history and action == history[-1]:
return {"history": history, "reason": "repeat"}
history.append(action)
# let the policy advance its own state here
...
return {"history": history, "reason": "max_steps"}辞書 {"history": [...], "reason": ...} を返します。"repeat" の確認があなたを救います:永遠に "search" を出し続けるバグのある、あるいは混乱した方針は、2 回目の同一の行動で、記録して警報を出せる理由付きで止められます。進展してから "done" と言う行儀の良い方針は、予算内できれいに終わります。採点プログラムは、ループする方針が "repeat" で止まること、暴走する方針が "max_steps" に達すること、良い方針が "done" で終わること、そして decompose が正しく番号を振ることを確かめます。実行を押して、3 つの結果すべてを見てください。
decompose(goal) を書いてください:goal を " then " で分割し、各部分の前後の空白を取り除き、"1. part"、"2. part"、... として返します。それから policy(state) が行動の文字列を返す run_with_guard(policy, state, max_steps) を書きます。方針を最大 max_steps 回動かし、{"history": [...], "reason": ...} を返します:行動が "done" なら理由 "done" で止まる。行動がすぐ前の行動に等しければ(進展なし)理由 "repeat" で止まる。予算が尽きたら理由 "max_steps" で止まる。受け入れた各行動を history に追加します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。