置信度阈值与弃权
分类器总是会返回一个答案,即使它毫无头绪。softmax 的总和必须是 1,所以一个真正困惑的模型仍然会交给你一个排名第一的标签,只是背后的概率很低。在生产环境里这很危险:悄悄地把顾客分错,比承认自己不确定更糟糕。
解决办法是带有弃权选项的置信度阈值。你看排名第一的标签的概率;如果它越过了门槛,就据此行动;如果没有,就返回一个特殊的 "abstain" 结论,把请求交给人(或升级到一个更昂贵的模型)。这是每个正经的 LLM 系统都有的人工交接关卡。
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"阈值是一个要根据数据来调的旋钮:调高它,你会更常弃权(更安全,人工工作更多);调低它,你会更常行动(更便宜,风险更大)。边界本身也很重要:要决定一个恰好等于阈值的概率算不算有把握。这里我们用 >= threshold 表示有把握(边界值通过)。
这些概率从哪里来?通常来自你之前构建的分类器的 model.predict_proba(...),或者把每个原型的余弦分数归一化成一个分布。无论哪种方式,把关的逻辑都是同一个小函数,而且它是纯的、确定性的,正是那种你可以做单元测试的防护措施。
写一个函数。classify_with_threshold(probs, labels, threshold):找到概率最高的标签;如果这个概率 >= threshold,就返回这个标签,否则返回字符串 "abstain"。probs 和 labels 是对齐的列表。按 Run,看一个有把握的情况通过,一个不确定的情况弃权。
写 classify_with_threshold(probs, labels, threshold),其中 probs 和 labels 是对齐的列表。返回概率最高的标签,但仅当这个概率 >= threshold 时;否则返回字符串 "abstain"。把恰好等于阈值的概率当作有把握。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。