词元/成本核算 + 缓存
你的网关现在能路由请求了,但每次调用真正的模型都要花钱和时间。你能控制的两个最大杠杆是成本核算(让没人被账单吓一跳)和缓存(让你不再为同一个答案付两次钱)。这一课两者都构建,而缓存有一个让它真正有用的转折:它能抓住几乎重复的问题,而不只是逐字节的重复。
从计量器开始。一个便宜、确定性的词元估算是"大约每四个字符一个词元",而成本就是词元数乘以每词元的费率:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rate现在是缓存。一个朴素的缓存以精确的字符串为键,所以 "Reset my password" 和 "reset my password" 看起来像不同的问题,两者都要付全价。你要构建一个两层的 Cache 类:
- 哈希层:规范化文本(转成小写,合并空白),对它求哈希,把答案存在那个键下。(规范化后的)完全重复是一次即时命中。
- 语义层:当哈希没命中时,用余弦相似度把查询的嵌入和每个保存的嵌入比较。如果最接近的那个达到或超过一个阈值(比如
0.9),那也算命中。这就是"password reset steps"命中一个缓存过的"how do I reset my password"的方式。
put 和 get 都接收文本和一个预先算好的嵌入(一个小向量)。get 返回一个 (status, value) 元组,其中 status 是 "hit" 或 "miss":
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)余弦相似度是点积除以范数的乘积;防住零向量,这样你永远不会除以零。在真正的网关里,这些嵌入来自模型,但在这里你直接把它们传进去,这样逻辑就能离线测试。按 Run 给一个提示词定价,精确地命中缓存,再在一个换了说法的问题上命中它,然后看一个不相关的查询没命中。
写 estimate_cost(text, rate),返回一个词元估算(约每 4 个字符 1 个词元)乘以每词元的 rate。然后构建一个两层的 Cache 类,带有 put(text, embedding, answer) 和 get(text, embedding),后者返回一个 (status, value) 元组。当通过哈希得到精确的(规范化后:转成小写、合并空白)文本匹配时,get 是 "hit";或者当最近的保存嵌入的余弦相似度 >= 阈值时(语义命中)也是;否则返回 ("miss", None)。一个相似度很低的不同查询必须没命中。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。