为知识库建立索引
欢迎来到你的旗舰作品集项目:一个客服副驾驶。在四节课里,你会端到端地构建并评估一个检索增强(RAG)的客服助手,也就是那个根据公司的帮助文章、而不是靠猜来回答"我怎么重置密码?"的聊天小部件背后的系统。完成后,简历上的这一行自己就写好了:构建并评估了一个 RAG 流水线和评测工具。
RAG 系统有一条黄金法则:模型只根据你实际检索到的文档来回答。所以在任何语言模型介入之前,你需要快速、准确的检索。这就是这一课的内容。读你这里代码的招聘经理只在检查一件事:你能不能把一堆文本变成能被好好搜索的东西?TF-IDF 是一种词汇方法:它匹配查询和文章共有的词,并按每个词有多大区分度来加权。它不知道"refund"和"money back"是一个意思;那是嵌入要补上的(后面几课)。词汇搜索仍然是每个检索系统都应该打败的、又快又便宜的基线。
你要构建一个小小的 TF-IDF 检索器。一口气说完它的想法:把每篇文章表示成一个词权重向量,一个词如果在这篇文章里常见(词频),而在所有文章里少见(逆文档频率),它的分量就更重。用余弦相似度把查询和每篇文章比较,返回最接近的那些。
三步让它运转起来:
- 分词:转成小写,拆成单词,并去掉像 "the" 和 "is" 这样匹配一切却毫无意义的小停用词。
re.findall(r"[a-z0-9]+", text.lower()),然后过滤掉停用词集合。 - 加权:对每篇文章,词频乘以 IDF,然后把向量归一化成单位长度,这样长文章和短文章才能公平地比较。
- 打分:查询向量和每个文章向量之间的余弦相似度。对于单位向量,那就是点积。按降序排名。
在文章列表上写两个函数:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) 返回你需要的任何结构(字典就行)。retrieve 返回一个指向 docs 的整数索引列表,最佳匹配在前,最多 k 个。你可以用普通的 Python 和 math,或者 numpy,或者 scikit-learn 的 TfidfVectorizer:无论你用什么,约定都一样。把 DOCS 定义在模块级别,这样评分器就能重建你的索引。按 Run,看几个客服问题被分到正确的文章上。
在有 8 篇文章的客服知识库上构建一个 TF-IDF 检索器。把 DOCS 放在模块级别。写 build_index(docs)(分词并去掉停用词,按 tf*idf 给词加权,归一化成单位向量)和 retrieve(query, index, k),按余弦相似度返回最接近的前 k 篇文档的索引,最佳的在前,最多 k 个。普通的 Python、numpy 或 scikit-learn 都可以。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。