在一组文档上构建 TF-IDF 检索器
原始的计数会过分看重常见的词:the 无处不在,却对一份文档毫无说明作用。TF-IDF 解决了这个问题。它把一个词在一份文档中出现的频率(词频)乘以这个词在整个集合中有多罕见(逆文档频率)。在一份文档里常见、但在整体上罕见的词,也就是真正能区分这份文档的那些词,会得到最高的权重。
把你各个文档的 TF-IDF 向量堆成一个矩阵,用同样的方式把查询变成一个 TF-IDF 向量,然后按与查询的余弦相似度给文档排名。这就是一个完整的检索器:几乎每个 RAG 系统中词汇匹配的那一半。scikit-learn 把两部分都给了你:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per doc把一个能用的检索器和一个坏掉的检索器区分开来的两个细节:
- 对文档调用
fit_transform,对查询只调用transform,这样查询就被投射进同一个词表和 idf 权重里。单独拟合查询会把它放进一个不同的空间,分数也就毫无意义。 - 按相似度降序返回前 k 个文档的索引。
np.argsort是升序排序的,所以对取负的分数排序:np.argsort(-sims)。
构建 retrieve(query, docs, k),在 docs 上拟合一个 TfidfVectorizer,用余弦相似度把 query 和每份文档打分,并以整数列表的形式返回前 k 份文档的索引,最相似的在前。
写 retrieve(query, docs, k),返回与查询最相似的 k 份文档的索引。在 docs 上拟合一个 TfidfVectorizer,用同一个向量化器 transform 查询,用 cosine_similarity 给每份文档打分,并按相似度降序以整数列表的形式返回前 k 份文档的索引。一个关于 Python 的查询应该把 Python 文档排在第一;一个关于退款的查询应该把退款文档排在第一。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。