课程大纲 第 151 课,共 250 课 · 从零实现嵌入与语义搜索
从零实现嵌入与语义搜索

用于路由与去重的聚类(KMeans)

一旦文本变成了向量,聚类就能解锁你在 LLM 系统里经常遇到的两项工作。语义路由:把示例话语分成几簇(账单、技术支持、销售),然后把一条新消息发给它离得最近的簇质心所对应的处理函数。找出候选的重复项:几乎相同的文档会落在同一个簇里,这缩小了要查找的范围。共享一个簇并不意味着两份文档就是重复的(一个簇里可能有几百份只是相关的文档),所以真正的检查是对簇内每一对做相似度阈值判断,或者在大型集合上使用像 MinHash 这样的技术。

KMeans 是主力。你告诉它你想要多少个簇 k;它找到 k 个质心,并把每个向量分配给离它最近的那个。scikit-learn 承担了繁重的工作:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

在实践中有两件事决定成败:

  • 确定性。KMeans 从随机的质心开始,所以你必须传入 random_state=0。没有它,同样的数据在不同的运行中可能产生不同的标签,你的路由就变得无法重现。(整数标签的值本身只是随意的名字;重要的是哪些点共享一个标签。)
  • 路由一个新点时,在已经拟合好的模型上使用 predict,它把这个点分配给最近的质心。你不需要重新拟合。

两组分得很开的点应该落进两个干净的簇,而一个位于其中一组里的新点应该路由到那一组的簇。

写两个函数。cluster_route(vectors, k) 在 vectors 上拟合 KMeans(n_clusters=k, random_state=0, n_init=10),并返回一个元组 (labels, model),其中 labels 是一个簇索引列表(每个输入向量一个)。route_new(model, vector) 返回一个新向量通过拟合好的模型被路由到的簇索引(一个 int)。

轮到你了

写两个函数。cluster_route(vectors, k) 在这些向量上拟合 KMeans(n_clusters=k, random_state=0, n_init=10),并返回一个元组 (labels, model):labels 是一个每个向量一个簇索引的列表,model 是拟合好的估计器。route_new(model, vector) 返回一个新向量用拟合好的模型路由到的簇索引(int)。两组明显分开的点必须落进两个不同的簇,一个新向量必须路由到最近的质心,不同簇的数量必须等于 k,而且多亏了 random_state=0,结果在多次运行中必须完全相同。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。