课程大纲 第 192 课,共 250 课 · 负责任的 AI:安全、审核与红队测试
负责任的 AI:安全、审核与红队测试

带弃权区间的毒性审核器

关键词筛查能抓住明显的攻击,但它读不出语气。对于"这条消息有毒吗?",你需要一个从带标签的例子中学会了模式的训练好的分类器。内容审核接口在底层做的正是这个,而你用 scikit-learn 十几行代码就能构建一个像样的。不需要 GPU,不需要云,不需要 LLM。

配方就是那条主力的文本分类流水线:

  • TfidfVectorizer 把每条消息变成一个词重要性的向量。在所有消息里都常见的词会被降权;某条消息特有的词会被加权。这就是"TF-IDF"的想法。
  • LogisticRegression 为每个词学习一个权重,并输出这条消息有毒的概率。我们固定 random_state=0,让拟合可以重现。

让它具备生产形态的转折是一个弃权区间。原始的分类器总会给出一个标签,即使它只有 51% 的把握。在内容审核中这很鲁莽:一个模棱两可的判断应该交给人,而不是自动决定。所以你不用模型的硬 predict,而是读取它的概率,并应用你自己的双边规则:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

你要在一个小的带标签集合上训练,然后用一个下沿和一个上沿,把一批留出的消息分成 "toxic"、"clean" 或 "abstain"。明显粗鲁的消息应该回来是 toxic,明显友好的是 clean,而模型拿不准的任何东西都应该落进 abstain,而不是去猜。小的训练集会让概率挤在中间附近,所以像 (0.45, 0.55) 这样窄的区间才是这里真正能把类别分开的。

为什么用分类器而不是 LLM 本身

托管的审核模型是存在的(OpenAI 的审核接口、Perspective API 等等),在生产环境里你常常会调用其中一个。我们在这里构建一个本地的,有三个原因:它能在这个沙盒里离线运行,每次调用不花钱,而且它让各个活动部件都看得见:特征、每个词学到的权重、一个概率,以及一个由人设定的阈值。这些概念可以直接迁移到你以后接入的任何审核服务上。

轮到你了

构建 train_moderator(texts, labels),拟合一个 Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) 并返回它。然后写 classify(model, texts, low, high),读取有毒类别的 predict_proba,返回一个由 "toxic"(概率 >= high)、"clean"(概率 <= low)或 "abstain"(介于两者之间)组成的列表。最后设 preds = classify(model, HELD_OUT, 0.45, 0.55)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。