带弃权的意图分类器
欢迎来到你的综合项目。在四节课里,你要交付位于用户和模型之间的那一层:一个 AI 网关,它对请求想要什么进行分类,把它路由到正确的处理函数,缓存答案,防范滥用,并核算每一分钱。这就是把一个聪明的演示变成公司真正能运行的东西的那套平淡无奇的基础设施,也正是当简历上写着"构建了一个 AI 网关:分类、路由、缓存、防护、成本核算"时,招聘经理所指的东西。
关于范围说一句实话:你构建的是网关在应用层的逻辑(分类、路由、语义缓存、防护、成本核算)。一个你真正会在生产环境里运行的网关,还需要一个托管它的运行中的服务、身份验证、真正的分布式限流和一次部署,这些都超出了这个浏览器内综合项目的范围。
第一站:前门。到达的每个请求都是一团文本,在你能对它做任何聪明的事之前,你需要知道它是什么。这是一个天气问题?一个账户问题?一个账单投诉?你要构建一个意图分类器,它从少量带标签的例子中学习,并给每个新请求打上标签。把玩具和真正的分类器区分开来的关键在于:它必须知道自己什么时候不知道。一个对胡言乱语也自信地贴标签的模型,在下游比没用还糟,所以你的分类器在没把握时会弃权并返回 "unknown"。
你要写两个函数:
train_intent(texts, labels)-> 拟合一个TfidfVectorizer把文本变成向量,然后在上面拟合一个LogisticRegression(random_state=0)。返回classify做预测所需的任何组合(字典就行)。给模型设种子,让每个人得到完全相同的结果。classify(model, text)-> 返回一个(label, confidence)元组。用predict_proba得到各类别的概率,取最高的那个,如果它的置信度低于一个阈值(大约0.5),就改为返回("unknown", confidence)。
抓住真正超出分布的输入的技巧既便宜又稳健。当 TfidfVectorizer.transform 看到一段完全没有训练词表中任何词的文本时,得到的那一行全是零(它的 .nnz 是 0)。这就是模型无从下手的信号,所以立即弃权:
X = vec.transform([text])
if X.nnz == 0:
return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)关于模型的一点现实说明:在很小的训练集上,默认的正则化会让每个概率都在随机水平附近徘徊,所以正常的问题永远越不过阈值。用 C=10.0 放松正则化(并调高 max_iter 让它收敛),能让模型变得足够敏锐,使真正的换种说法的问题得到有把握的分数,而垃圾输入仍然会弃权。按 Run,在几个带标签的客服问题上训练,看换种说法的问题被正确分类,而胡言乱语知难而退。
写 train_intent(texts, labels),使用 TfidfVectorizer + LogisticRegression(random_state=0)(用 C=10.0 放松正则化并调高 max_iter,让小数据也能收敛),返回 classify 需要的任何组合。然后写 classify(model, text),返回 (label, confidence):取 predict_proba 最高的类别,低于约 0.5 的阈值时弃权为 ("unknown", conf),并在变换后的那一行全为零(X.nnz == 0)时立即弃权,这样超出分布或空的输入就无法被打上标签。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。