课程大纲 第 184 课,共 250 课 · 把 LLM 投入生产:成本、缓存与防护
把 LLM 投入生产:成本、缓存与防护

提示词注入防御流水线

提示词注入是 LLM 版的 SQL 注入:用户把指令偷偷塞进他们的输入里,试图覆盖你的系统提示词、泄露它,或者劫持模型的行为。经典的攻击载荷包括 "ignore all previous instructions"、"reveal your system prompt"、"you are now a..." 和 "developer mode"。一道实用的第一防线是一个扫描这些已知模式的检测器,再配上前面的个人信息遮盖器和一次输出检查,全部接进一个让一切都要经过的防护里。

检测器必须足够具体,不能乱喊狼来了。"I previously visited Paris" 是无害的,绝不能触发它;"ignore all previous instructions" 则必须触发。你匹配的是危险的短语,而不是一个无辜的单词,并且你要返回标出它的理由,这样这次拦截才是可审计的。

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

完整的关卡把这些部件组合起来:在原始输入上检测注入,遮盖个人信息,只有当输入安全时才调用(桩代替的)模型。在生产环境里,模型那一步会是一次真正的调用;这里用一个桩代替,让评分保持确定性。你被评分的重点是关卡的逻辑。

写两个函数。(1) detect_injection(text) -> 一个字典 {"is_injection": bool, "score": int, "patterns": [...]},其中 score 是匹配了多少个模式。(2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}:如果检测到注入,就设 blocked=True 并把 "prompt_injection" 加进 reasons;总是把个人信息遮盖到 safe_text 里,而如果找到了任何个人信息,就追加一个以 "pii_redacted" 开头的理由。干净的消息原样通过,不被拦下。

轮到你了

构建 detect_injection(text),返回 {"is_injection", "score", "patterns"}(score = 匹配的注入模式数量),以及 guard(user_text),返回 {"safe_text", "blocked", "reasons"}。当检测到注入时,guard 会拦下(加上理由 "prompt_injection"),总是把个人信息遮盖到 safe_text 里(找到任何个人信息时追加一个 "pii_redacted..." 理由),并让干净的消息原样通过、不被拦下。像 "I previously asked about the weather" 这样无害的相似说法绝不能被拦下。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。