课程大纲 第 178 课,共 250 课 · 把 LLM 投入生产:成本、缓存与防护
把 LLM 投入生产:成本、缓存与防护

词元与成本核算

一次模型调用要花真金白银,而账单是以词元计量的,不是字符或单词。一个词元大约是几个字符组成的一块。准确的数量来自模型的分词器,但用于预算和仪表盘时,一个好的经验法则是 tokens ≈ characters / 4。这个估算足够准确,可以用来预测开支、设置每次请求的上限,以及发现一个快要撑爆你预算的提示词。

提供商对输入(提示词)词元和输出(补全)词元按不同的费率定价,通常以每 1,000,000 个词元多少美元来报价。输出往往比输入贵好几倍,所以这个划分很重要。一次调用的成本是:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

在真实的应用里,你会直接从响应上读取真实的词元数。例如,设备端的 WebLLM 引擎会随回复一起把它交回来:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

那个实时调用只是示意。在这里,你要构建位于任何模型周围的确定性核算层:一个词元估算器和一个基于价格表的成本函数。每个成本仪表盘都是由这两个函数构成的。

写两个函数。estimate_tokens(text) 用"字符数/4"规则返回一个整数词元估算(用整除,所以 "" -> 0)。estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) 用上面的公式返回美元成本,其中费率是每 1,000,000 个词元多少美元。让两者都保持纯粹、没有副作用。

轮到你了

写 estimate_tokens(text),返回一个整数词元估算(大约 len(text) // 4,所以空字符串是 0),以及 estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate),返回美元成本,其中 in_rate 和 out_rate 是每 1,000,000 个词元的价格。两段文本中较长的那段,估算出的词元数绝不能更少;而当两个费率不同时,把一次以提示词为主的调用换成一次以补全为主的调用,必须改变成本。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。