提示词注入防御流水线
提示词注入是 LLM 版的 SQL 注入:用户把指令偷偷塞进他们的输入里,试图覆盖你的系统提示词、泄露它,或者劫持模型的行为。经典的攻击载荷包括 "ignore all previous instructions"、"reveal your system prompt"、"you are now a..." 和 "developer mode"。一道实用的第一防线是一个扫描这些已知模式的检测器,再配上前面的个人信息遮盖器和一次输出检查,全部接进一个让一切都要经过的防护里。
检测器必须足够具体,不能乱喊狼来了。"I previously visited Paris" 是无害的,绝不能触发它;"ignore all previous instructions" 则必须触发。你匹配的是危险的短语,而不是一个无辜的单词,并且你要返回标出它的理由,这样这次拦截才是可审计的。
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively完整的关卡把这些部件组合起来:在原始输入上检测注入,遮盖个人信息,只有当输入安全时才调用(桩代替的)模型。在生产环境里,模型那一步会是一次真正的调用;这里用一个桩代替,让评分保持确定性。你被评分的重点是关卡的逻辑。
写两个函数。(1) detect_injection(text) -> 一个字典 {"is_injection": bool, "score": int, "patterns": [...]},其中 score 是匹配了多少个模式。(2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}:如果检测到注入,就设 blocked=True 并把 "prompt_injection" 加进 reasons;总是把个人信息遮盖到 safe_text 里,而如果找到了任何个人信息,就追加一个以 "pii_redacted" 开头的理由。干净的消息原样通过,不被拦下。
构建 detect_injection(text),返回 {"is_injection", "score", "patterns"}(score = 匹配的注入模式数量),以及 guard(user_text),返回 {"safe_text", "blocked", "reasons"}。当检测到注入时,guard 会拦下(加上理由 "prompt_injection"),总是把个人信息遮盖到 safe_text 里(找到任何个人信息时追加一个 "pii_redacted..." 理由),并让干净的消息原样通过、不被拦下。像 "I previously asked about the weather" 这样无害的相似说法绝不能被拦下。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。