课程大纲 第 213 课,共 250 课 · 项目:客服副驾驶
项目:客服副驾驶

为知识库建立索引

欢迎来到你的旗舰作品集项目:一个客服副驾驶。在四节课里,你会端到端地构建并评估一个检索增强(RAG)的客服助手,也就是那个根据公司的帮助文章、而不是靠猜来回答"我怎么重置密码?"的聊天小部件背后的系统。完成后,简历上的这一行自己就写好了:构建并评估了一个 RAG 流水线和评测工具。

RAG 系统有一条黄金法则:模型只根据你实际检索到的文档来回答。所以在任何语言模型介入之前,你需要快速、准确的检索。这就是这一课的内容。读你这里代码的招聘经理只在检查一件事:你能不能把一堆文本变成能被好好搜索的东西?TF-IDF 是一种词汇方法:它匹配查询和文章共有的词,并按每个词有多大区分度来加权。它不知道"refund"和"money back"是一个意思;那是嵌入要补上的(后面几课)。词汇搜索仍然是每个检索系统都应该打败的、又快又便宜的基线。

你要构建一个小小的 TF-IDF 检索器。一口气说完它的想法:把每篇文章表示成一个词权重向量,一个词如果在这篇文章里常见(词频),而在所有文章里少见(逆文档频率),它的分量就更重。用余弦相似度把查询和每篇文章比较,返回最接近的那些。

三步让它运转起来:

  • 分词:转成小写,拆成单词,并去掉像 "the" 和 "is" 这样匹配一切却毫无意义的小停用词。re.findall(r"[a-z0-9]+", text.lower()),然后过滤掉停用词集合。
  • 加权:对每篇文章,词频乘以 IDF,然后把向量归一化成单位长度,这样长文章和短文章才能公平地比较。
  • 打分:查询向量和每个文章向量之间的余弦相似度。对于单位向量,那就是点积。按降序排名。

在文章列表上写两个函数:

index = build_index(docs)          # precompute weights once
retrieve(query, index, k)          # -> the ids of the top-k closest docs

build_index(docs) 返回你需要的任何结构(字典就行)。retrieve 返回一个指向 docs 的整数索引列表,最佳匹配在前,最多 k 个。你可以用普通的 Python 和 math,或者 numpy,或者 scikit-learn 的 TfidfVectorizer:无论你用什么,约定都一样。把 DOCS 定义在模块级别,这样评分器就能重建你的索引。按 Run,看几个客服问题被分到正确的文章上。

轮到你了

在有 8 篇文章的客服知识库上构建一个 TF-IDF 检索器。把 DOCS 放在模块级别。写 build_index(docs)(分词并去掉停用词,按 tf*idf 给词加权,归一化成单位向量)和 retrieve(query, index, k),按余弦相似度返回最接近的前 k 篇文档的索引,最佳的在前,最多 k 个。普通的 Python、numpy 或 scikit-learn 都可以。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。