课程大纲 第 189 课,共 250 课 · 生产模式:重试、异步、流式与记忆
生产模式:重试、异步、流式与记忆

多轮对话记忆

聊天机器人自己没有记忆:模型每次调用只看到你发给它的东西。要进行一场对话,你就要重放历史:系统消息,加上到目前为止的来回轮次。但历史会无限增长,而上下文窗口不会,所以你需要一个记忆,它保存对话,并在每次调用之前把它裁剪到合适的大小。

这个策略是生产系统最终都会收敛到的那个。始终保留系统消息:它承载着绝不能丢失的指令和人设。然后在预算允许的范围内保留尽可能多的最近的轮次,先丢掉最旧的普通轮次,因为最近的上下文对连贯的回复最重要。词元预算使用熟悉的估算 chars / 4。

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

这正是位于任何聊天模型前面的那个对象,包括设备端的 WebLLM 引擎:你累积轮次,然后把 trimmed_context(...) 作为下一次调用的消息传进去。这里不运行任何模型:裁剪逻辑是确定性的,直接评分。

构建一个 Conversation 类。构造函数接收一个可选的 system 消息(被固定,永不丢弃)。add(role, content) 追加一个轮次。trimmed_context(max_tokens) 按时间顺序返回保留下来的轮次:每一条系统消息,加上那些估算词元数(按 chars / 4 规则相加)在 max_tokens 以内的最近的普通轮次,先丢最旧的。预算宽裕时,简短的历史会被完整保留。

轮到你了

构建一个 Conversation 类,把它的轮次按顺序保存在一个列表属性 turns 里(每个都是 {"role", "content"} 字典;Conversation(system=...) 把系统消息存为第一个轮次):add(role, content) 追加一个轮次,trimmed_context(max_tokens) 保留系统消息,加上能装进 chars/4 词元预算的最新的一段连续不断的轮次,按时间顺序返回。从最新的轮次往回走,在第一个装不下的轮次处停下:永远不要跳过一个轮次而保留一个更旧的,因为中间有个洞的对话(一个没有问题的答案)会让模型困惑。简短的历史被完整保留;紧张的预算会丢掉最旧的,但保留系统消息和最新的轮次(如果连最新的轮次都装不下,就只剩下系统消息);顺序保持时间顺序;词元估算是正确的。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。