规划 + 循环防护
一个能行动的智能体,也能永远行动下去。真实的智能体烧钱、把值班工程师从床上叫起来的头号原因,就是一个没有刹车的循环:它不停地调用同一个工具,得到同样的观察结果,永远决定不了自己已经完成了。这一课加上让智能体能够安全地真正运行的两样东西:一个把目标拆成有序子任务的小小规划器,以及一个在智能体失控之前让它停下的循环防护。
首先是规划。decompose(goal) 把一行目标变成一个编了号的子任务列表。我们让它保持确定性、基于规则(在生产环境里这由 LLM 来做,但重要的是形状):用单词 "then" 拆分目标,去掉每一段两端的空白,然后从 1 开始编号。
decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]现在是防护。run_with_guard(policy, state, max_steps) 一步一步地驱动一个策略,但它拒绝失控。这里的策略是一个函数 policy(state) -> action(一个说出它想做的动作的字符串);应用一个动作只是把它追加到一个历史列表里。防护会因为三个原因之一停下,并报告是哪一个:
- 完成:策略返回动作
"done"-> 以原因"done"停下。 - 没有进展:策略连续两次返回同一个动作 -> 以原因
"repeat"停下。这是经典的陷入循环的信号:智能体没有从它的观察结果中学到东西。 - 预算:它达到
max_steps还没完成 -> 以原因"max_steps"停下。
def run_with_guard(policy, state, max_steps):
history = []
for _ in range(max_steps):
action = policy(state)
if action == "done":
return {"history": history, "reason": "done"}
if history and action == history[-1]:
return {"history": history, "reason": "repeat"}
history.append(action)
# let the policy advance its own state here
...
return {"history": history, "reason": "max_steps"}返回一个字典 {"history": [...], "reason": ...}。"repeat" 检查是救你的那个:一个有 bug 或困惑的策略不停地发出 "search",会在第二个相同的动作时被拦下,并带有一个你可以记录和告警的原因。一个表现良好、取得进展然后说 "done" 的策略,会在它的预算内干净地完成。评分器检查一个循环的策略以 "repeat" 停下,一个失控的策略碰到 "max_steps",一个好的策略以 "done" 完成,还检查 decompose 编号正确。按 Run 查看全部三种结果。
写 decompose(goal):用 " then " 拆分 goal,去掉每一段两端的空白,并以 "1. part"、"2. part"……的形式返回。然后写 run_with_guard(policy, state, max_steps),其中 policy(state) 返回一个动作字符串。最多驱动策略 max_steps 次,并返回 {"history": [...], "reason": ...}:动作是 "done" 时以原因 "done" 停下;动作等于紧挨着的上一个动作时以原因 "repeat" 停下(没有进展);预算用完时以原因 "max_steps" 停下。把每个被接受的动作追加到 history。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。