课程大纲 第 154 课,共 250 课 · 构建一个 RAG 流水线
构建一个 RAG 流水线

给长文档分块

检索增强生成(RAG)是你让一个通用模型对准你的数据的方式:一本政策手册、一份产品说明书、上个季度的客服工单。模型从来没有记住过其中任何一个,所以在提问时,你要检索相关的段落并把它们贴进提示词。整条流水线只是五个实实在在的部分:给文档分块、嵌入每个文本块、存储向量、为查询检索出最匹配的几个,以及构建一个有依据的提示词。你会在本模块中构建全部五个。写出最后那句话的模型可以是你浏览器里的设备端 WebLLM,但它周围的每一步都是普通的、可测试的 Python,而这正是雇主要考察的那部分。

第一步是分块。一份 40 页的文档太大了,没法作为一个向量来嵌入,也没法塞进一个提示词里,所以你要把它切成相互重叠的窗口。为什么要重叠?因为你需要的一个事实可能正好横跨一条硬边界。如果你在第 500 个字符处干净地切开,而句子 "refunds take five business days" 跨越了第 495 到 515 个字符,那么两个文本块都不包含完整的答案。几个字符的重叠能让同一个句子完整地留在两个相邻的块里。

它的形状是:你每次把一个 size 个字符的窗口向前滑动 size - overlap 的 step。

def chunk(text, size, overlap):
    step = size - overlap
    chunks = []
    i = 0
    while i < len(text):
        chunks.append(text[i:i + size])
        if i + size >= len(text):
            break          # this window already reached the end
        i += step
    return chunks

那个 break 很重要:没有它,你会一直往前走过末尾,产生一个像 "g" 这样的小碎片作为最后一个"文本块"。一旦窗口到达末尾就停下,能让最后一个文本块是真正的文本块。

要构建什么。写 chunk(text, size, overlap),返回一个相互重叠的窗口列表。测试会检查的规则:

  • 验证输入:如果 size <= 0,或者 overlap 为负数或 >= size(重叠这么大就永远不会前进),就抛出 ValueError。
  • 空文本返回一个空列表 []。
  • 一个文本块的最后 overlap 个字符等于下一个文本块的前 overlap 个字符。
  • 完整覆盖:把 chunks[0] 加上之后每个文本块的 chunks[i][overlap:] 拼接起来,能准确重现原始文本,没有任何字符丢失或重复。

差一错误就藏在这里,所以按 Run,看一段话被切成你可以亲眼检查的窗口。

轮到你了

写 chunk(text, size, overlap),每一步把一个 size 个字符的窗口向前滑动 size - overlap,并返回窗口列表。当 size <= 0 或者 overlap 为负数或 >= size 时抛出 ValueError。空文本返回 []。一旦窗口到达文本末尾就停下(所以最后一个文本块可能比 size 短,而且永远不会多出一个只重复重叠部分的窗口)。相邻的文本块必须恰好共享 overlap 个字符,而把第一个文本块和之后每个文本块的 chunk[overlap:] 拼接起来,必须重建出原始文本。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。