课程大纲 第 199 课,共 250 课 · LLM 周边的机器学习
LLM 周边的机器学习

考虑成本的级联

这是整个模块的点睛之笔。一次生产环境的 LLM 调用又慢又要花真金白银;一个拟合好的分类器几乎不花钱。所以你要级联:让便宜的模型处理大多数有把握的流量,只把不确定的那一小部分升级给昂贵的 LLM。做得好,你能以一小部分的花费提供同样的质量。

决策用的就是你已经构建好的阈值:对每个请求,你都有便宜分类器给出的一行概率。如果其中最高的概率越过了置信度阈值,就便宜地回答;否则就升级。你的老板真正会问的工程问题是这能省多少钱?,所以你还要统计升级的次数和成本。

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

构建 cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25)。对每一行概率,如果 max(row) >= threshold,就便宜地处理(花费 cheap_cost);否则就升级(花费 llm_cost)。返回 {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"},其中 all_llm_cost 是把每个请求都发给 LLM 本来要花的钱,saved = all_llm_cost - total_cost。空输入不升级任何东西,也不花钱。按 Run 给一批流量算算价钱。

轮到你了

写 cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25)。对每一行,如果 max(row) >= threshold,就便宜地处理(花费 cheap_cost),否则升级(花费 llm_cost)。返回 {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}:escalated 是升级的次数,escalation_rate 是 escalated/len(为空时是 0.0),total_cost 是每个请求花费的总和,all_llm_cost = len(prob_rows) * llm_cost,saved = all_llm_cost - total_cost。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。