智能体的记忆与状态累积
你构建的 ReAct 循环有健忘症:每一步调用一个工具,然后就忘了。一个真正的智能体必须把学到的东西带下去:它查到的事实、工具返回的结果,这样后面的步骤才能使用它们。那本不断更新的笔记本就是智能体的记忆(人们也叫它草稿本或工作上下文)。它归你的代码所有;模型从来不拥有它。
但上下文不是免费的。记忆里的所有东西都会在下一步被塞回提示词里,而模型有一个固定的、以词元衡量的上下文窗口。让记忆无限增长,你最终会撑爆这个窗口(另外还要为每一个词元付钱)。所以记忆需要两半:一边走一边累积新的事实,在它变得太大时把它裁剪回预算之内。
它的形状
状态是一个字典:一条永久的 system 备注(智能体的常设指令,你永远不会扔掉它),以及一个它收集到的 facts 列表:
state = {"system": "You are a research agent.", "facts": []}每个观察结果都变成一行事实。一个工具运行之后,你追加一条关于发生了什么的可读记录:
state["facts"].append(f"{tool}({args}) -> {observation}")裁剪到一个词元预算
真正的分词器是学出来的、基于子词的;我们没法在这里运行一个,所以我们把一个词元估算为一个用空白分隔的词(len(text.split())),和 LLM 模块里用的技巧一样。(在生产环境里,你会用 API 的 usage 字段里真正的子词计数,或者 len(text) / 4 这条按字符的经验法则;空白估算只是让这个练习保持确定性。)裁剪规则照搬了生产环境的智能体实际做的事:始终保留系统备注,然后在剩下的预算里尽可能多地保留最近的事实。最近的胜出,因为最新的结果通常正是下一步需要的。
budget = max_tokens - est_tokens(state["system"])
# walk facts newest-first, keep while they fit, then stop从最新到最旧走过这些事实,加上每一条的词元成本,直到下一条会撑爆预算为止,然后停下。再反转回来,让保留下来的事实保持它们原来的顺序。如果预算很小,你可能一条事实都保留不了,但系统备注总能存活下来。
在一个实时运行的智能体里,模型会在每一步开头读取 render(state),而同样的"累积然后裁剪"循环会在每次工具调用之后运行,所以窗口永远不会溢出。设备端的导师可以驱动这个循环,但评分永远只检查确定性的状态。按 Run 累积一段简短的记录,看最旧的事实在紧张的预算下被丢掉。
构建智能体的记忆。写 new_state(system_note) -> {"system": note, "facts": []};record(state, tool, args, observation),追加事实行 "<tool>(<args>) -> <observation>" 并返回状态;est_tokens(text) -> 空白分隔的词元数;以及 trim(state, max_tokens),保留系统备注,再加上那些词元数(系统备注也计入预算)能装进 max_tokens 的最近的事实。然后写 accumulate(system_note, transcript, max_tokens):开始一个全新的状态,按顺序 record 每一个 (tool, args, observation) 步骤,最后 trim 一次,并返回裁剪后的状态。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。