带弃权区间的毒性审核器
关键词筛查能抓住明显的攻击,但它读不出语气。对于"这条消息有毒吗?",你需要一个从带标签的例子中学会了模式的训练好的分类器。内容审核接口在底层做的正是这个,而你用 scikit-learn 十几行代码就能构建一个像样的。不需要 GPU,不需要云,不需要 LLM。
配方就是那条主力的文本分类流水线:
- TfidfVectorizer 把每条消息变成一个词重要性的向量。在所有消息里都常见的词会被降权;某条消息特有的词会被加权。这就是"TF-IDF"的想法。
- LogisticRegression 为每个词学习一个权重,并输出这条消息有毒的概率。我们固定
random_state=0,让拟合可以重现。
让它具备生产形态的转折是一个弃权区间。原始的分类器总会给出一个标签,即使它只有 51% 的把握。在内容审核中这很鲁莽:一个模棱两可的判断应该交给人,而不是自动决定。所以你不用模型的硬 predict,而是读取它的概率,并应用你自己的双边规则:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a human你要在一个小的带标签集合上训练,然后用一个下沿和一个上沿,把一批留出的消息分成 "toxic"、"clean" 或 "abstain"。明显粗鲁的消息应该回来是 toxic,明显友好的是 clean,而模型拿不准的任何东西都应该落进 abstain,而不是去猜。小的训练集会让概率挤在中间附近,所以像 (0.45, 0.55) 这样窄的区间才是这里真正能把类别分开的。
为什么用分类器而不是 LLM 本身
托管的审核模型是存在的(OpenAI 的审核接口、Perspective API 等等),在生产环境里你常常会调用其中一个。我们在这里构建一个本地的,有三个原因:它能在这个沙盒里离线运行,每次调用不花钱,而且它让各个活动部件都看得见:特征、每个词学到的权重、一个概率,以及一个由人设定的阈值。这些概念可以直接迁移到你以后接入的任何审核服务上。
构建 train_moderator(texts, labels),拟合一个 Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) 并返回它。然后写 classify(model, texts, low, high),读取有毒类别的 predict_proba,返回一个由 "toxic"(概率 >= high)、"clean"(概率 <= low)或 "abstain"(介于两者之间)组成的列表。最后设 preds = classify(model, HELD_OUT, 0.45, 0.55)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。