课程大纲 第 155 课,共 250 课 · 构建一个 RAG 流水线
构建一个 RAG 流水线

嵌入文本块

你有了文本块。但检索器比较的是向量,而不是词,所以缺失的一步是嵌入:把每个文本块变成一个固定长度的数字列表,让内容相似的文本落在相似的坐标上。这就是流水线中承诺的"嵌入"那一步(分块 -> 嵌入 -> 存储 -> 检索 -> 提示词),它喂给下一课里的 VectorStore.add(id, text, vector)。

生产系统通过网络调用一个神经嵌入模型(OpenAI、Cohere、一个 sentence-transformer),但约定是完全一样的,你可以离线构建一个真正的、确定性的嵌入器来学习它:一个词袋向量。固定一个 vocab(你关心的那些词),然后用每个词表里的词在一段文本中出现的次数来表示这段文本。

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

再多一步就能让它们用于余弦搜索:对向量做 L2 归一化(除以它自己的长度,np.linalg.norm)。这样之后每个向量的长度都是 1,于是余弦相似度就变成了一个普通的点积,长的文本块也不再仅仅因为词更多就压过短的文本块。一个不包含任何词表里的词的文本块没有可归一化的东西,所以就让那个全零向量保持原样(永远不要除以零)。

写两个函数。

  • build_vocab(chunks) -> 所有文本块中不重复的词组成的已排序列表。用 text.lower().split() 给每个文本块分词(转成小写,按空白拆分)。
  • embed(text, vocab) -> 一个长度为 len(vocab) 的 numpy 浮点数组:每个词表里的词在 text 中的计数(同样的分词方式),然后做 L2 归一化。如果计数全是零,就原样返回零向量。

按 Run 嵌入几个文本块,并确认相关的文本指向同一个方向。

轮到你了

写 build_vocab(chunks),返回所有文本块中不重复的词的已排序列表(用 text.lower().split() 分词),以及 embed(text, vocab),返回一个长度为 len(vocab) 的 numpy 浮点数组,保存每个词表里的词在 text 中的计数(同样的分词方式),并用 np.linalg.norm 做 L2 归一化。如果每个计数都是零,就原样返回全零向量(不要除以零)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。