上下文窗口预算器
每个模型都有一个有限的上下文窗口:它一次调用最多能读取的词元数。一段长长的聊天历史最终会把它撑爆,而这次调用要么报错,要么悄悄地截断。生产环境的解决办法是一个在你发送之前裁剪对话的预算器。
标准的策略简单而久经考验:始终保留系统消息(它承载着绝不能丢掉的指令和人设),然后一次一个地丢掉最旧的普通轮次,直到累计的词元估算能装进预算。最近的轮次对连贯性最重要,所以它们最后才被丢掉。
消息看起来就是熟悉的聊天格式:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]你在上一课已经有了一个词元估算器(字符数/4);这里它作为 estimate_tokens 提供给你。对每条保留的消息的 content 求和,就得到累计总数。
构建 fit_to_budget(messages, max_tokens)。返回一个新的消息列表,保持原来的顺序,使得:系统消息始终被保留;只要能够丢弃,保留的消息的估算词元总数就 <= max_tokens;而当你必须丢弃时,先丢最旧的非系统消息。宽裕的预算会保留一切。不要修改输入的列表。
写 fit_to_budget(messages, max_tokens),按原来的顺序返回保留的消息。保留每一条系统消息。一个一个地丢掉最旧的非系统消息,直到估算的词元总数(对每个 content 的 estimate_tokens 求和)<= max_tokens。宽裕的预算什么也不丢;两个不同的预算必须保留不同的集合,而最近的轮次比更旧的轮次优先保留下来。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。