用 numpy 计算余弦相似度
既然文档已经是向量了,怎么衡量两份文档是否"相像"?直觉是用欧氏距离(直线距离),但对文本来说那是个陷阱。一份长文档会重复用词,所以它的计数向量就是更大,而欧氏距离会因为长度而惩罚它,即使主题完全相同。你真正在意的是方向:哪些词,按什么比例。这正是余弦相似度衡量的东西。
余弦相似度是两个向量夹角的余弦:
cosine(a, b) = (a . b) / (|a| * |b|)其中 a . b 是点积,|a| 是 a 的长度(L2 范数)。它的值落在一个干净的范围里:
- 1.0 -> 方向相同(一份文档和它放大后的副本)。
- 0.0 -> 正交,没有共同的方向(没有共同的词)。
- 介于两者之间的值 -> 部分重叠。
因为它把长度除掉了,余弦把 [1, 1] 和 [10, 10] 视为完全相同。正是这种对长度的不变性,让每个嵌入和 RAG 系统都按余弦排名,而不是按欧氏距离。
在 numpy 里,整件事就是三次调用:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0有一个边界情况会在生产环境里咬你一口:零向量(一份不含任何词表里的词的文档)长度为 0,而除以 0 会得到 NaN,然后它会污染下游的每一次排序。一个稳健的相似度在任一向量全为零时返回 0.0。
构建 cosine(a, b),以浮点数返回余弦相似度,并在任一输入是零向量时返回 0.0(永远不是 NaN)。输入可能是 Python 列表或 numpy 数组。
写 cosine(a, b),返回两个向量的余弦相似度:点积除以它们 L2 范数的乘积。接受 Python 列表或 numpy 数组,并返回一个浮点数。平行的向量返回 1.0,正交的向量返回 0.0,而且这个函数是对称的。如果任一向量全为零,就返回 0.0,而不是除以零并产生 NaN。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。