给长文档分块
检索增强生成(RAG)是你让一个通用模型对准你的数据的方式:一本政策手册、一份产品说明书、上个季度的客服工单。模型从来没有记住过其中任何一个,所以在提问时,你要检索相关的段落并把它们贴进提示词。整条流水线只是五个实实在在的部分:给文档分块、嵌入每个文本块、存储向量、为查询检索出最匹配的几个,以及构建一个有依据的提示词。你会在本模块中构建全部五个。写出最后那句话的模型可以是你浏览器里的设备端 WebLLM,但它周围的每一步都是普通的、可测试的 Python,而这正是雇主要考察的那部分。
第一步是分块。一份 40 页的文档太大了,没法作为一个向量来嵌入,也没法塞进一个提示词里,所以你要把它切成相互重叠的窗口。为什么要重叠?因为你需要的一个事实可能正好横跨一条硬边界。如果你在第 500 个字符处干净地切开,而句子 "refunds take five business days" 跨越了第 495 到 515 个字符,那么两个文本块都不包含完整的答案。几个字符的重叠能让同一个句子完整地留在两个相邻的块里。
它的形状是:你每次把一个 size 个字符的窗口向前滑动 size - overlap 的 step。
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunks那个 break 很重要:没有它,你会一直往前走过末尾,产生一个像 "g" 这样的小碎片作为最后一个"文本块"。一旦窗口到达末尾就停下,能让最后一个文本块是真正的文本块。
要构建什么。写 chunk(text, size, overlap),返回一个相互重叠的窗口列表。测试会检查的规则:
- 验证输入:如果
size <= 0,或者overlap为负数或>= size(重叠这么大就永远不会前进),就抛出ValueError。 - 空文本返回一个空列表
[]。 - 一个文本块的最后
overlap个字符等于下一个文本块的前overlap个字符。 - 完整覆盖:把
chunks[0]加上之后每个文本块的chunks[i][overlap:]拼接起来,能准确重现原始文本,没有任何字符丢失或重复。
差一错误就藏在这里,所以按 Run,看一段话被切成你可以亲眼检查的窗口。
写 chunk(text, size, overlap),每一步把一个 size 个字符的窗口向前滑动 size - overlap,并返回窗口列表。当 size <= 0 或者 overlap 为负数或 >= size 时抛出 ValueError。空文本返回 []。一旦窗口到达文本末尾就停下(所以最后一个文本块可能比 size 短,而且永远不会多出一个只重复重叠部分的窗口)。相邻的文本块必须恰好共享 overlap 个字符,而把第一个文本块和之后每个文本块的 chunk[overlap:] 拼接起来,必须重建出原始文本。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。