课程大纲 第 179 课,共 250 课 · 把 LLM 投入生产:成本、缓存与防护
把 LLM 投入生产:成本、缓存与防护

上下文窗口预算器

每个模型都有一个有限的上下文窗口:它一次调用最多能读取的词元数。一段长长的聊天历史最终会把它撑爆,而这次调用要么报错,要么悄悄地截断。生产环境的解决办法是一个在你发送之前裁剪对话的预算器。

标准的策略简单而久经考验:始终保留系统消息(它承载着绝不能丢掉的指令和人设),然后一次一个地丢掉最旧的普通轮次,直到累计的词元估算能装进预算。最近的轮次对连贯性最重要,所以它们最后才被丢掉。

消息看起来就是熟悉的聊天格式:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

你在上一课已经有了一个词元估算器(字符数/4);这里它作为 estimate_tokens 提供给你。对每条保留的消息的 content 求和,就得到累计总数。

构建 fit_to_budget(messages, max_tokens)。返回一个新的消息列表,保持原来的顺序,使得:系统消息始终被保留;只要能够丢弃,保留的消息的估算词元总数就 <= max_tokens;而当你必须丢弃时,先丢最旧的非系统消息。宽裕的预算会保留一切。不要修改输入的列表。

轮到你了

写 fit_to_budget(messages, max_tokens),按原来的顺序返回保留的消息。保留每一条系统消息。一个一个地丢掉最旧的非系统消息,直到估算的词元总数(对每个 content 的 estimate_tokens 求和)<= max_tokens。宽裕的预算什么也不丢;两个不同的预算必须保留不同的集合,而最近的轮次比更旧的轮次优先保留下来。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。