课程大纲 第 181 课,共 250 课 · 把 LLM 投入生产:成本、缓存与防护
把 LLM 投入生产:成本、缓存与防护

提供商侧的提示词缓存

上一课在请求重复时跳过了模型。这一课让请求本身变得更便宜。大多数提供商都提供提示词缓存:你标出提示词中一个稳定的前缀,下一次复用它的调用时,提供商就会跳过重新处理那些词元,并以很大的折扣计费。它和你刚构建的响应缓存是不同的杠杆:

  • 响应缓存(上一课):整个答案被复用,所以你完全跳过了调用。只有当问题重复时才有效。
  • 提示词缓存(这一课):调用仍然会发生,你仍然得到一个新的答案,但共享的前缀更便宜了。即使每个问题都不同也有效。

什么应该放进被缓存的前缀?每次调用都会带着的那些大而稳定的东西:一个长长的系统提示词、工具定义、少样本示例、一份你要问好几个问题的检索文档。你把可变的部分(真正的用户问题)放在缓存断点之后。在 Anthropic 上,你用一个 cache_control 块标出边界:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

这里的经济学有三种费率,都是相对于正常的输入价格。一次缓存写入(第一次调用,它保存前缀)大约花费 1.25x 的输入价格。一次缓存读取(之后命中已保存前缀的调用)大约花费 0.1x 的输入价格。未命中就是 1x。条目能存活几分钟,每次命中都会刷新它的计时器,所以一个繁忙的前缀会一直保持温热。三个实际的限制:比模型的最小值(取决于模型,几百到几千个词元)更短的前缀会被悄悄地不缓存;缓存是前缀匹配,所以改变提示词前面的任何一个字节(比如系统提示词里的一个时间戳)都会让它之后的一切失效;而且每个缓存只属于一个模型,所以换模型就要冷启动。查看响应上的 usage.cache_read_input_tokens,看看你是否真的命中了。收支平衡来得很快:如果一个大前缀哪怕只被复用几次,那一次性的 1.25x 写入,和每次复用都只付 0.1x 而不是 1x 相比,就显得微不足道了。

你要构建那个决定缓存一个前缀是否划算的成本模型。

轮到你了

为经济学建模。价格是每 1,000,000 个词元多少美元;输入用 3.0,输出用 15.0。(1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls):每次调用都为 prefix_tokens + variable_tokens 付全额输入价格,再为 output_tokens 付输出价格,乘以 calls。(2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls):前缀以 1.25x 的输入价格写入一次,然后在剩下的 calls - 1 次调用中以 0.1x 的输入价格读取;可变词元总是付全额输入价格,而输出在每次调用中总是付全额输出价格。假设 calls >= 1。(3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) 在 cached_cost 严格小于 uncached_cost 时返回 True。返回普通的浮点数(美元)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。