输出防护与轨迹汇总
模型的回复在你检查之前都是不可信的。两种输出防护能覆盖大多数需求。允许列表防护坚持输出必须恰好是一组已知值之一,这就是你让一个分类器变得可靠的方式:如果模型应该回答 positive、negative 或 neutral,那么其他任何东西都会被拒绝。拒绝列表防护会标出任何包含被禁止词语(一个泄露的机密、一句侮辱、一个竞争对手的名字)的输出,不管周围是什么文本。
生产系统还需要可追溯性:每次调用都带着它的输入、输出、词元数、延迟和成本被记录下来,这样你事后就能回答"这花了多少钱,有多慢?"。你把这些记录汇总成一份摘要:总成本,以及延迟的百分位数。p95 延迟(95% 的调用都低于的那个值)才是值班工程师真正盯着的数字,因为平均值会掩盖缓慢的长尾。
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the mean写四个函数。(1) validate_output(text, allowed_labels) -> 只有当 text.strip() 在 allowed_labels 里时才为 True。(2) contains_banned(text, banned) -> 如果任何被禁止的词语(不区分大小写)出现在 text 里,就为 True。(3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> 一个恰好有这五个键的字典。(4) aggregate_traces(traces) -> 用这些轨迹字典建立一个 pandas.DataFrame,并返回一个字典,包含 n、total_cost(四舍五入到 6 位小数),以及用 numpy.percentile 计算的 p50_latency 和 p95_latency。
构建 validate_output(text, allowed_labels)(只有当 text.strip() 是一个允许的标签时才为 True)、contains_banned(text, banned)(当任何被禁止的词语出现时为 True,不区分大小写)、build_trace(input_text, output_text, tokens, latency_ms, cost)(一个带有这五个键的字典),以及 aggregate_traces(traces)(一个 pandas DataFrame,通过 numpy.percentile 汇总成 {n, total_cost (round 6dp), p50_latency, p95_latency})。允许的标签必须通过,不允许的必须被拦下,而两个不同的禁止列表必须给出不同的结论。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。