课程大纲 第 198 课,共 250 课 · LLM 周边的机器学习
LLM 周边的机器学习

置信度阈值与弃权

分类器总是会返回一个答案,即使它毫无头绪。softmax 的总和必须是 1,所以一个真正困惑的模型仍然会交给你一个排名第一的标签,只是背后的概率很低。在生产环境里这很危险:悄悄地把顾客分错,比承认自己不确定更糟糕。

解决办法是带有弃权选项的置信度阈值。你看排名第一的标签的概率;如果它越过了门槛,就据此行动;如果没有,就返回一个特殊的 "abstain" 结论,把请求交给人(或升级到一个更昂贵的模型)。这是每个正经的 LLM 系统都有的人工交接关卡。

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

阈值是一个要根据数据来调的旋钮:调高它,你会更常弃权(更安全,人工工作更多);调低它,你会更常行动(更便宜,风险更大)。边界本身也很重要:要决定一个恰好等于阈值的概率算不算有把握。这里我们用 >= threshold 表示有把握(边界值通过)。

这些概率从哪里来?通常来自你之前构建的分类器的 model.predict_proba(...),或者把每个原型的余弦分数归一化成一个分布。无论哪种方式,把关的逻辑都是同一个小函数,而且它是纯的、确定性的,正是那种你可以做单元测试的防护措施。

写一个函数。classify_with_threshold(probs, labels, threshold):找到概率最高的标签;如果这个概率 >= threshold,就返回这个标签,否则返回字符串 "abstain"。probs 和 labels 是对齐的列表。按 Run,看一个有把握的情况通过,一个不确定的情况弃权。

轮到你了

写 classify_with_threshold(probs, labels, threshold),其中 probs 和 labels 是对齐的列表。返回概率最高的标签,但仅当这个概率 >= threshold 时;否则返回字符串 "abstain"。把恰好等于阈值的概率当作有把握。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。