课程大纲 第 194 课,共 250 课 · 负责任的 AI:安全、审核与红队测试
负责任的 AI:安全、审核与红队测试

校准拒绝:过度拒绝与拒绝不足

拦住攻击只是安全的一半。另一半是不要过度拦截。一个对每个稍微敏感的问题都拒绝的模型是安全的,但也是没用的,就像一个你烤面包时就会响的烟雾报警器。你需要在同一个带标签的集合上衡量两种失败模式,并调整它们之间的那条线。

拿一组提示词,每个都标注了应用应该怎么做:"refuse"(确实有害)或 "answer"(无害)。你的防护为每个提示词给出一个风险分数,当分数越过一个阈值时你就拒绝。可能发生两种错误:

  • 过度拒绝(假阳性):你拒绝了一个本该回答的提示词。很烦人,会把用户赶走。
  • 拒绝不足(假阴性):你回答了一个本该拒绝的提示词。很危险,是上头条的风险。

把 "refuse" 当作正类,标准的指标能说明一切:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

精确率低意味着你在过度拒绝(你的拒绝里有大量无害的提示词)。召回率低意味着你在拒绝不足(有害的提示词溜了过去)。当你移动阈值时它们此消彼长:激进地拒绝,召回率上升而精确率下降;保守地拒绝则相反。你要写 refusal_metrics(scores, labels, threshold),然后写 best_threshold(scores, labels, candidates),它扫描候选阈值并返回 F1 最高的那个,这一个数字不会让任何一种错误失控。

测试会检查两个正确性细节。当 score >= threshold 时拒绝(大于或等于,所以恰好落在线上的分数也拒绝)。当某个指标的分母为零时(你什么都没拒绝,所以精确率无法定义),返回 0.0 而不是崩溃。你的指标必须和 scikit-learn 在 zero_division=0 下的 precision_score、recall_score 和 f1_score 一致,因为你永远不应该交付与经过测试的库不一致的手写指标。

轮到你了

写 refusal_metrics(scores, labels, threshold),其中 labels 是 "refuse"/"answer",当 score >= threshold 时你预测为拒绝。把 "refuse" 当作正类,返回 {"precision", "recall", "f1"},各自用 round 保留 4 位小数,任何分母为零的指标都为 0.0(必须与 sklearn 在 zero_division=0 下一致)。然后写 best_threshold(scores, labels, candidates),返回 F1 最高的候选值(平局时阈值最低的胜出),并设 best = best_threshold(SCORES, LABELS, CANDIDATES)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。