用于路由与去重的聚类(KMeans)
一旦文本变成了向量,聚类就能解锁你在 LLM 系统里经常遇到的两项工作。语义路由:把示例话语分成几簇(账单、技术支持、销售),然后把一条新消息发给它离得最近的簇质心所对应的处理函数。找出候选的重复项:几乎相同的文档会落在同一个簇里,这缩小了要查找的范围。共享一个簇并不意味着两份文档就是重复的(一个簇里可能有几百份只是相关的文档),所以真正的检查是对簇内每一对做相似度阈值判断,或者在大型集合上使用像 MinHash 这样的技术。
KMeans 是主力。你告诉它你想要多少个簇 k;它找到 k 个质心,并把每个向量分配给离它最近的那个。scikit-learn 承担了繁重的工作:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a cluster在实践中有两件事决定成败:
- 确定性。KMeans 从随机的质心开始,所以你必须传入
random_state=0。没有它,同样的数据在不同的运行中可能产生不同的标签,你的路由就变得无法重现。(整数标签的值本身只是随意的名字;重要的是哪些点共享一个标签。) - 路由一个新点时,在已经拟合好的模型上使用
predict,它把这个点分配给最近的质心。你不需要重新拟合。
两组分得很开的点应该落进两个干净的簇,而一个位于其中一组里的新点应该路由到那一组的簇。
写两个函数。cluster_route(vectors, k) 在 vectors 上拟合 KMeans(n_clusters=k, random_state=0, n_init=10),并返回一个元组 (labels, model),其中 labels 是一个簇索引列表(每个输入向量一个)。route_new(model, vector) 返回一个新向量通过拟合好的模型被路由到的簇索引(一个 int)。
写两个函数。cluster_route(vectors, k) 在这些向量上拟合 KMeans(n_clusters=k, random_state=0, n_init=10),并返回一个元组 (labels, model):labels 是一个每个向量一个簇索引的列表,model 是拟合好的估计器。route_new(model, vector) 返回一个新向量用拟合好的模型路由到的簇索引(int)。两组明显分开的点必须落进两个不同的簇,一个新向量必须路由到最近的质心,不同簇的数量必须等于 k,而且多亏了 random_state=0,结果在多次运行中必须完全相同。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。