语义缓存与哈希缓存
最便宜的模型调用,就是你从来不做的那一次。生产环境的 LLM 系统会在模型前面放一个缓存,让重复或几乎重复的问题免费得到回答。两种口味能覆盖大多数情况。
哈希缓存以精确的请求为键。诀窍是先规范化,让表面上略有不同的提示词撞到一起:把文本转成小写,把连续的空白合并成一个空格,并在求哈希之前按稳定、排好序的顺序把任何选项(温度、模型)放进去。这样 " Hello World " 和 "hello world" 就共享一个键。转成小写是一种权衡:对大多数问题,大小写不会改变答案,但有时会(一个代码标识符,"US" 和 "us"),所以当你的提示词区分大小写时,就别做这一步。
import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key = hashlib.sha256(norm.encode()).hexdigest()语义缓存更进一步:当一个新查询和一个旧查询意思相同时,它就返回缓存的答案,用嵌入向量之间的余弦相似度来衡量。如果最接近的保存向量得分达到或超过一个阈值(比如 0.9),就是命中;否则就是未命中,你去调用模型。在真实的应用里,向量来自一个嵌入模型;这里我们直接把它们传进去,让逻辑保持确定性。危险在于错误命中:"我怎么取消订单?"和"我怎么取消订阅?"在嵌入空间里可能挨得很近,却需要不同的答案。把阈值设高,在信任它之前先在真实流量上衡量错误命中,并且永远不要对取决于提问者是谁的答案做语义缓存。
cosine(a, b) = dot(a, b) / (norm(a) * norm(b))构建三样东西。(1) 一个类 SemanticCache,带有 put(query_vec, answer) 和 get(query_vec),当最接近的条目的余弦相似度 >= self.threshold 时返回它保存的答案,否则返回 None。(2) cache_key(prompt, **opts),它做规范化(转成小写,合并空白,给选项的键排序),并返回一个十六进制的 hashlib.sha256 摘要,这样两个表面上不同的提示词会映射到同一个键。(3) make_memoized(fn) -> 一个使用 cache_key 缓存结果、并暴露 .hits 和 .misses 计数器的可调用对象。
构建 (1) SemanticCache(在 __init__ 里有一个 threshold,加上 put(query_vec, answer) 和 get(query_vec),当余弦相似度 >= 阈值时返回最接近的答案,否则返回 None);(2) cache_key(prompt, **opts):用 re.sub(r"\s+", " ", prompt.strip().lower()) 规范化提示词,然后用 hashlib.sha256 对 "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) 求哈希,并返回十六进制摘要(检查会用完全相同的这个配方来比较);(3) make_memoized(fn),返回一个带有 .hits 和 .misses 的可调用对象。几乎重复的向量必须命中,相距很远的必须未命中,两个空格不同的提示词必须共享一个键。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。