课程大纲 第 232 课,共 250 课 · 项目:会用工具的研究智能体
项目:会用工具的研究智能体

规划 + 循环防护

一个能行动的智能体,也能永远行动下去。真实的智能体烧钱、把值班工程师从床上叫起来的头号原因,就是一个没有刹车的循环:它不停地调用同一个工具,得到同样的观察结果,永远决定不了自己已经完成了。这一课加上让智能体能够安全地真正运行的两样东西:一个把目标拆成有序子任务的小小规划器,以及一个在智能体失控之前让它停下的循环防护。

首先是规划。decompose(goal) 把一行目标变成一个编了号的子任务列表。我们让它保持确定性、基于规则(在生产环境里这由 LLM 来做,但重要的是形状):用单词 "then" 拆分目标,去掉每一段两端的空白,然后从 1 开始编号。

decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]

现在是防护。run_with_guard(policy, state, max_steps) 一步一步地驱动一个策略,但它拒绝失控。这里的策略是一个函数 policy(state) -> action(一个说出它想做的动作的字符串);应用一个动作只是把它追加到一个历史列表里。防护会因为三个原因之一停下,并报告是哪一个:

  • 完成:策略返回动作 "done" -> 以原因 "done" 停下。
  • 没有进展:策略连续两次返回同一个动作 -> 以原因 "repeat" 停下。这是经典的陷入循环的信号:智能体没有从它的观察结果中学到东西。
  • 预算:它达到 max_steps 还没完成 -> 以原因 "max_steps" 停下。
def run_with_guard(policy, state, max_steps):
    history = []
    for _ in range(max_steps):
        action = policy(state)
        if action == "done":
            return {"history": history, "reason": "done"}
        if history and action == history[-1]:
            return {"history": history, "reason": "repeat"}
        history.append(action)
        # let the policy advance its own state here
        ...
    return {"history": history, "reason": "max_steps"}

返回一个字典 {"history": [...], "reason": ...}。"repeat" 检查是救你的那个:一个有 bug 或困惑的策略不停地发出 "search",会在第二个相同的动作时被拦下,并带有一个你可以记录和告警的原因。一个表现良好、取得进展然后说 "done" 的策略,会在它的预算内干净地完成。评分器检查一个循环的策略以 "repeat" 停下,一个失控的策略碰到 "max_steps",一个好的策略以 "done" 完成,还检查 decompose 编号正确。按 Run 查看全部三种结果。

轮到你了

写 decompose(goal):用 " then " 拆分 goal,去掉每一段两端的空白,并以 "1. part"、"2. part"……的形式返回。然后写 run_with_guard(policy, state, max_steps),其中 policy(state) 返回一个动作字符串。最多驱动策略 max_steps 次,并返回 {"history": [...], "reason": ...}:动作是 "done" 时以原因 "done" 停下;动作等于紧挨着的上一个动作时以原因 "repeat" 停下(没有进展);预算用完时以原因 "max_steps" 停下。把每个被接受的动作追加到 history。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。