课程大纲 第 147 课,共 250 课 · 从零实现嵌入与语义搜索
从零实现嵌入与语义搜索

在一组文档上构建 TF-IDF 检索器

原始的计数会过分看重常见的词:the 无处不在,却对一份文档毫无说明作用。TF-IDF 解决了这个问题。它把一个词在一份文档中出现的频率(词频)乘以这个词在整个集合中有多罕见(逆文档频率)。在一份文档里常见、但在整体上罕见的词,也就是真正能区分这份文档的那些词,会得到最高的权重。

把你各个文档的 TF-IDF 向量堆成一个矩阵,用同样的方式把查询变成一个 TF-IDF 向量,然后按与查询的余弦相似度给文档排名。这就是一个完整的检索器:几乎每个 RAG 系统中词汇匹配的那一半。scikit-learn 把两部分都给了你:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

把一个能用的检索器和一个坏掉的检索器区分开来的两个细节:

  • 对文档调用 fit_transform,对查询只调用 transform,这样查询就被投射进同一个词表和 idf 权重里。单独拟合查询会把它放进一个不同的空间,分数也就毫无意义。
  • 按相似度降序返回前 k 个文档的索引。np.argsort 是升序排序的,所以对取负的分数排序:np.argsort(-sims)。

构建 retrieve(query, docs, k),在 docs 上拟合一个 TfidfVectorizer,用余弦相似度把 query 和每份文档打分,并以整数列表的形式返回前 k 份文档的索引,最相似的在前。

轮到你了

写 retrieve(query, docs, k),返回与查询最相似的 k 份文档的索引。在 docs 上拟合一个 TfidfVectorizer,用同一个向量化器 transform 查询,用 cosine_similarity 给每份文档打分,并按相似度降序以整数列表的形式返回前 k 份文档的索引。一个关于 Python 的查询应该把 Python 文档排在第一;一个关于退款的查询应该把退款文档排在第一。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。