课程大纲 第 197 课,共 250 课 · LLM 周边的机器学习
LLM 周边的机器学习

嵌入到原型的路由

分类器需要带标签的训练数据。有时你一点都没有,只有每个意图的少量示例查询。这时最便宜的路由器是最近原型:用一个向量代表每个意图(它的"原型",通常是几个例子的平均嵌入),对进来的查询做嵌入,然后把它分派给它最直接指向的那个原型。

"最直接指向"指的是余弦相似度:两个向量夹角的余弦,忽略它们的长度。它是衡量文本的合适方式,因为关于同一个主题的一篇长文档和一篇短文档应该仍然能匹配上。

cosine(a, b) = (a . b) / (|a| |b|)

接近 1.0 的值意味着两个向量指向同一个方向(同一个意图);接近 0.0 意味着毫无关联。路由器选择余弦最高的原型,而这个分数同时也可以作为一个置信度,供你之后设置阈值。

实话实说:在生产环境里,这些向量来自一个训练好的嵌入模型(一次 API 调用,或一个 sentence-transformer)。我们在这里加载不了:浏览器里没有模型权重文件,也没有 GPU。所以在这一课里,向量是作为普通的 numpy 数组直接给你的。你要构建的是路由的几何部分,无论这些数字来自真正的嵌入模型还是来自测试夹具,它都完全一样。真正的嵌入只是填入更好的数字;余弦加 argmax 的逻辑才是你要交付的部分。

平局必须是确定性的。如果两个原型的距离完全相等,选"恰好在字典里排在前面的那个"是一个潜在的 bug:字典的顺序可能会变。用按字母顺序排在前面的意图名来打破平局,这样同样的平局总会以同样的方式解决。

写两个函数。cosine(a, b) 返回两个向量的余弦相似度,并且对零向量安全(长度为零的向量返回 0.0,永远不会是 NaN)。route_by_prototype(query_vec, prototypes) 接收查询向量和一个字典 {intent_name: prototype_vector},返回一个元组 (best_intent, best_score):最近的原型和它的余弦,并按字母顺序打破平局。按 Run 路由几个查询,看看每个查询带回来的置信度。

轮到你了

写 cosine(a, b) = a.b / (|a||b|),当任一向量长度为零时返回 0.0(不能是 NaN)。然后写 route_by_prototype(query_vec, prototypes),其中 prototypes 是一个字典 {name: vector};返回余弦最高的元组 (best_name, best_score),完全平局时选按字母顺序排在前面的名字。保持起始代码里的 PROTOTYPES 不变:检查会读取它。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。