意图分类(TF-IDF + LogisticRegression)
并不是每个"AI 功能"都需要大语言模型。很大一部分生产环境的 LLM 应用会在模型前面放一个又小又平淡的分类器:它读取进来的消息,判断这是哪一类请求(账单?bug 报告?账户变更?),然后据此分流。这个决定又快又免费,可以离线运行,而且是确定性的:同样的输入总是给出同样的答案。只有在真正需要时,你才花钱去做一次昂贵的 LLM 调用。
处理短文本的主力是 TfidfVectorizer + LogisticRegression。TF-IDF 把每条消息变成一个由加权词频组成的稀疏向量;逻辑回归学习各个意图类别之间的线性边界。在几十个带标签的例子上,它几毫秒就能训练完,几微秒就能完成分类。
你要用 Pipeline 把两者接成一个对象,这样向量化器和分类器就作为一个整体一起拟合、一起应用:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
pipe = Pipeline([
("tfidf", TfidfVectorizer()),
("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"]) # -> array(['billing'])为什么要 random_state=0?这是一个值得养成的习惯。这里默认的求解器(lbfgs)是确定性的,所以无论有没有种子,这个流水线都给出同样的权重。但其他求解器(saga、liblinear)会打乱数据,而且许多 scikit-learn 模型(随机森林、k-means、训练集/测试集划分)在设计上就是随机的;在那些情况下,种子才让训练可以重现。到处都写上它,意味着以后换一个求解器或模型,也不会悄悄让你的路由在不同运行之间来回翻转。本课程处处遵守这条规则。
这正好和 LLM 形成对比。模型调用是非确定性的,要花钱,还会增加延迟。下面是在你知道意图之后,可能会在下游接上的那种兜底逻辑(仅作背景展示,从不评分):
# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
reply = await window._floatiTutor.complete(msg) # the on-device LLM写两个函数。train_classifier(texts, labels) 返回一个拟合好的 Pipeline(TF-IDF + 带 random_state=0 的 LogisticRegression)。predict(model, new_texts) 接收这个模型和一个字符串列表,返回一个预测标签的列表。按 Run,在一小组客服工单上训练,看它把留出的消息分派给正确的团队。
写 train_classifier(texts, labels),返回一个拟合好的 sklearn Pipeline,先是 TfidfVectorizer(),然后是 LogisticRegression(random_state=0, ...);再写 predict(model, new_texts),对一个输入字符串列表返回预测标签的列表。种子让它可以重现;分类器必须把不同的留出消息分到它们正确的意图上。保持起始代码里的 TEXTS 和 LABELS 不变:检查会读取它们。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。