上下文与词元预算
每个模型都有一个有限的上下文窗口,而你要按词元付费。当一段对话增长到超出预算时,你没法把它全部发出去,所以你要决定保留什么。标准的策略:保留系统提示词(它设定规则),再加上仍然装得下的最近的消息,丢掉最旧的。
你要构建一个简单的预算器。首先,一个粗略的词元估算器:真正的分词器因模型而异,但一个可靠的离线近似是大约每 4 个字符一个词元。estimate_tokens(text) 返回 len(text) // 4(空文本为 0,任何非空文本至少为 1)。
然后 fit_context(system, messages, budget) 决定什么能保留下来:
- 系统提示词最先计数,并且总是被保留。
- 从最新到最旧走过这些消息,保留每一条词元数仍然在预算之内的消息;当下一条会溢出时就停下。
- 返回
{"kept": [...], "dropped": n, "tokens": total},其中kept恢复为时间顺序。
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two survive评分器检查的两个微妙之处:更紧的预算保留更少(而且是正确的)消息,而一个非空的系统提示词会占用预算,让能装下的消息更少。反向遍历来挑出最新的,再把保留的列表反转回来,让对话按顺序读。按 Run 评分。
写 estimate_tokens(text),返回 len(text) // 4(空文本为 0,非空至少为 1)。写 fit_context(system, messages, budget),先计算系统提示词,保留装得下的最新消息(反向遍历),并返回 {"kept", "dropped", "tokens"},其中 kept 恢复为时间顺序。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。