课程大纲 第 133 课,共 250 课 · 面向 AI 工程师的提示词工程
面向 AI 工程师的提示词工程

分隔符、依据与防幻觉

阻止模型编造东西最有效的一个办法是提供依据:把源材料交给它,用清楚的分隔符框起来,并指示它只根据那些材料回答,在答案不在其中时给一个明确的逃生出口。这是每个检索增强系统的核心,而它完全是提示词构建。

构建 grounded_prompt(question, context_chunks),组装出:

  • 一个 CONTEXT: 部分,其中每个文本块都编了号、用围栏框起来,比如 [1] ...、[2] ...。
  • 上下文之后的问题。
  • 一条只根据上下文回答的准确指令,以逃生出口结尾:如果答案不在上下文里,就恰好回复 I don't know.
  • 末尾一个开放的回答轮次,让模型知道要回应。

然后构建检查器。check_grounded(answer, context_chunks) 在答案有依据时返回 True:要么它恰好是 I don't know. 这个哨兵,要么答案里的每一个重要的词都出现在连接起来的上下文中。当答案包含上下文从未提到过的、编造出来的词时,它返回 False。

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

在检查重要的词时忽略很小的停用词(the、is、a、of……),这样正常的措辞不会受到惩罚,但像 Berlin 这样从未在上下文中出现的实词会正确地让检查失败。按 Run 评分。

对它能抓住什么要诚实:包含性检查能标出编造的词元(上下文从未提到的词),但它抓不住一个由真实的上下文词重新组合出来的错误说法。"Refunds take France business days" 在这里会通过,尽管它是胡说八道,因为每个词都在上下文里。真正的忠实度检查需要一个 LLM 评判或一个 NLI(蕴含)模型,它们推理的是意义,而不只是词是否出现。

轮到你了

写 grounded_prompt(question, context_chunks),在 CONTEXT: 下给文本块编号并用围栏框起来,追加问题,要求只根据上下文回答,并带有准确的逃生出口 I don't know.,最后以一个开放的回答轮次结尾。准确的版式,各行用 "\n" 连接:CONTEXT:,然后每个文本块一行,写成 [1] chunk text、[2] ...,一个空行,Question: ...,指令那一行(它必须包含 I don't know.),最后是开放的回答轮次 [assistant]。写 check_grounded(answer, context_chunks),对哨兵或者当答案中每个重要的(非停用词的)词都在连接起来的上下文中时返回 True,否则返回 False。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。