分隔符、依据与防幻觉
阻止模型编造东西最有效的一个办法是提供依据:把源材料交给它,用清楚的分隔符框起来,并指示它只根据那些材料回答,在答案不在其中时给一个明确的逃生出口。这是每个检索增强系统的核心,而它完全是提示词构建。
构建 grounded_prompt(question, context_chunks),组装出:
- 一个
CONTEXT:部分,其中每个文本块都编了号、用围栏框起来,比如[1] ...、[2] ...。 - 上下文之后的问题。
- 一条只根据上下文回答的准确指令,以逃生出口结尾:如果答案不在上下文里,就恰好回复
I don't know. - 末尾一个开放的回答轮次,让模型知道要回应。
然后构建检查器。check_grounded(answer, context_chunks) 在答案有依据时返回 True:要么它恰好是 I don't know. 这个哨兵,要么答案里的每一个重要的词都出现在连接起来的上下文中。当答案包含上下文从未提到过的、编造出来的词时,它返回 False。
ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx) # True
check_grounded("I don't know.", ctx) # True (honest)
check_grounded("The capital is Berlin.", ctx) # False (invented)在检查重要的词时忽略很小的停用词(the、is、a、of……),这样正常的措辞不会受到惩罚,但像 Berlin 这样从未在上下文中出现的实词会正确地让检查失败。按 Run 评分。
对它能抓住什么要诚实:包含性检查能标出编造的词元(上下文从未提到的词),但它抓不住一个由真实的上下文词重新组合出来的错误说法。"Refunds take France business days" 在这里会通过,尽管它是胡说八道,因为每个词都在上下文里。真正的忠实度检查需要一个 LLM 评判或一个 NLI(蕴含)模型,它们推理的是意义,而不只是词是否出现。
写 grounded_prompt(question, context_chunks),在 CONTEXT: 下给文本块编号并用围栏框起来,追加问题,要求只根据上下文回答,并带有准确的逃生出口 I don't know.,最后以一个开放的回答轮次结尾。准确的版式,各行用 "\n" 连接:CONTEXT:,然后每个文本块一行,写成 [1] chunk text、[2] ...,一个空行,Question: ...,指令那一行(它必须包含 I don't know.),最后是开放的回答轮次 [assistant]。写 check_grounded(answer, context_chunks),对哨兵或者当答案中每个重要的(非停用词的)词都在连接起来的上下文中时返回 True,否则返回 False。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。