词元与成本核算
一次模型调用要花真金白银,而账单是以词元计量的,不是字符或单词。一个词元大约是几个字符组成的一块。准确的数量来自模型的分词器,但用于预算和仪表盘时,一个好的经验法则是 tokens ≈ characters / 4。这个估算足够准确,可以用来预测开支、设置每次请求的上限,以及发现一个快要撑爆你预算的提示词。
提供商对输入(提示词)词元和输出(补全)词元按不同的费率定价,通常以每 1,000,000 个词元多少美元来报价。输出往往比输入贵好几倍,所以这个划分很重要。一次调用的成本是:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rate在真实的应用里,你会直接从响应上读取真实的词元数。例如,设备端的 WebLLM 引擎会随回复一起把它交回来:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtime那个实时调用只是示意。在这里,你要构建位于任何模型周围的确定性核算层:一个词元估算器和一个基于价格表的成本函数。每个成本仪表盘都是由这两个函数构成的。
写两个函数。estimate_tokens(text) 用"字符数/4"规则返回一个整数词元估算(用整除,所以 "" -> 0)。estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) 用上面的公式返回美元成本,其中费率是每 1,000,000 个词元多少美元。让两者都保持纯粹、没有副作用。
写 estimate_tokens(text),返回一个整数词元估算(大约 len(text) // 4,所以空字符串是 0),以及 estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate),返回美元成本,其中 in_rate 和 out_rate 是每 1,000,000 个词元的价格。两段文本中较长的那段,估算出的词元数绝不能更少;而当两个费率不同时,把一次以提示词为主的调用换成一次以补全为主的调用,必须改变成本。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。