课程大纲 第 144 课,共 250 课 · 从零实现嵌入与语义搜索
从零实现嵌入与语义搜索

用 numpy 计算余弦相似度

既然文档已经是向量了,怎么衡量两份文档是否"相像"?直觉是用欧氏距离(直线距离),但对文本来说那是个陷阱。一份长文档会重复用词,所以它的计数向量就是更大,而欧氏距离会因为长度而惩罚它,即使主题完全相同。你真正在意的是方向:哪些词,按什么比例。这正是余弦相似度衡量的东西。

余弦相似度是两个向量夹角的余弦:

cosine(a, b) = (a . b) / (|a| * |b|)

其中 a . b 是点积,|a| 是 a 的长度(L2 范数)。它的值落在一个干净的范围里:

  • 1.0 -> 方向相同(一份文档和它放大后的副本)。
  • 0.0 -> 正交,没有共同的方向(没有共同的词)。
  • 介于两者之间的值 -> 部分重叠。

因为它把长度除掉了,余弦把 [1, 1] 和 [10, 10] 视为完全相同。正是这种对长度的不变性,让每个嵌入和 RAG 系统都按余弦排名,而不是按欧氏距离。

在 numpy 里,整件事就是三次调用:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

有一个边界情况会在生产环境里咬你一口:零向量(一份不含任何词表里的词的文档)长度为 0,而除以 0 会得到 NaN,然后它会污染下游的每一次排序。一个稳健的相似度在任一向量全为零时返回 0.0。

构建 cosine(a, b),以浮点数返回余弦相似度,并在任一输入是零向量时返回 0.0(永远不是 NaN)。输入可能是 Python 列表或 numpy 数组。

轮到你了

写 cosine(a, b),返回两个向量的余弦相似度:点积除以它们 L2 范数的乘积。接受 Python 列表或 numpy 数组,并返回一个浮点数。平行的向量返回 1.0,正交的向量返回 0.0,而且这个函数是对称的。如果任一向量全为零,就返回 0.0,而不是除以零并产生 NaN。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。