课程大纲 第 183 课,共 250 课 · 把 LLM 投入生产:成本、缓存与防护
把 LLM 投入生产:成本、缓存与防护

输出防护与轨迹汇总

模型的回复在你检查之前都是不可信的。两种输出防护能覆盖大多数需求。允许列表防护坚持输出必须恰好是一组已知值之一,这就是你让一个分类器变得可靠的方式:如果模型应该回答 positive、negative 或 neutral,那么其他任何东西都会被拒绝。拒绝列表防护会标出任何包含被禁止词语(一个泄露的机密、一句侮辱、一个竞争对手的名字)的输出,不管周围是什么文本。

生产系统还需要可追溯性:每次调用都带着它的输入、输出、词元数、延迟和成本被记录下来,这样你事后就能回答"这花了多少钱,有多慢?"。你把这些记录汇总成一份摘要:总成本,以及延迟的百分位数。p95 延迟(95% 的调用都低于的那个值)才是值班工程师真正盯着的数字,因为平均值会掩盖缓慢的长尾。

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

写四个函数。(1) validate_output(text, allowed_labels) -> 只有当 text.strip() 在 allowed_labels 里时才为 True。(2) contains_banned(text, banned) -> 如果任何被禁止的词语(不区分大小写)出现在 text 里,就为 True。(3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> 一个恰好有这五个键的字典。(4) aggregate_traces(traces) -> 用这些轨迹字典建立一个 pandas.DataFrame,并返回一个字典,包含 n、total_cost(四舍五入到 6 位小数),以及用 numpy.percentile 计算的 p50_latency 和 p95_latency。

轮到你了

构建 validate_output(text, allowed_labels)(只有当 text.strip() 是一个允许的标签时才为 True)、contains_banned(text, banned)(当任何被禁止的词语出现时为 True,不区分大小写)、build_trace(input_text, output_text, tokens, latency_ms, cost)(一个带有这五个键的字典),以及 aggregate_traces(traces)(一个 pandas DataFrame,通过 numpy.percentile 汇总成 {n, total_cost (round 6dp), p50_latency, p95_latency})。允许的标签必须通过,不允许的必须被拦下,而两个不同的禁止列表必须给出不同的结论。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。