课程大纲 第 157 课,共 250 课 · 构建一个 RAG 流水线
构建一个 RAG 流水线

超出范围的拒绝防护

一个总是回答的 RAG 系统是危险的。问你的客服机器人"东京的天气怎么样?",如果它照样回答,它就不再以你的文档为依据,而是在猜。解决办法是一个拒绝防护:在你构建提示词之前,看看检索到的文本块和问题实际上匹配得有多好。如果最佳匹配很弱,文档多半没有覆盖这个问题,所以正确的做法是拒绝并转交,而不是产生幻觉。

你已经有的信号就是最高的检索相似度。选一个阈值。如果得分最高的检索文本块低于它,就拒绝。这是位于检索和生成之间的一个单独的、便宜的检查,也是生产环境 RAG 系统中价值最高的部分之一:它就是"我不知道"和一个自信的错误答案之间的区别。

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

要构建什么。写 should_refuse(query, contexts, threshold),其中 contexts 是一个字典列表,每个字典带有一个数值 "score"(检索相似度)。返回:

  • 当 contexts 为空时返回 True(什么都没检索到 -> 没有可依据的东西)。
  • 当上下文中最高的分数严格低于 threshold 时返回 True。
  • 否则返回 False(至少有一个文本块越过了门槛)。

边界是有意设计的:恰好等于阈值的分数足以回答(拒绝用严格小于)。注意之所以传入 query,是因为真实系统也可能根据其他信号拒绝,但在这里决定只取决于分数。按 Run,看领域内和领域外的问题得到不同的结论。

轮到你了

写 should_refuse(query, contexts, threshold),当 contexts 为空,或者上下文字典中最大的 "score" 严格小于 threshold 时返回 True,否则返回 False。恰好等于阈值的分数不应该拒绝。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。