一套对抗性红队测试集
你有了门口的保安和一个语气分类器。你怎么知道它们真的管用?你去攻击自己的应用。红队测试集是一组固定的对抗性提示词,每次改动时你都把它们发向你受保护的处理函数,这样防御上的退步就会表现为一个数字,而不是一条新闻标题。这就是安全领域的测试集。
整个东西是离线、确定性的。"模型"是一个很小的模拟对象,所以测试很快,从不访问网络:一个 guarded_handler(prompt),它先运行你的防御,只有当提示词被允许时,才返回(假装的)敏感答案。
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'当处理函数的回复里仍然包含机密时,一次攻击就突破了(泄漏)。当回复是拒绝时,它就被拦下了。你要让一套带标签的攻击提示词跑过这个处理函数,并统计结果:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}说一下命名,因为它容易让人犯迷糊:这些标签是红队的惯例,是从攻击者的角度命名的。泄漏了机密的攻击是"passed"(它越过了你的防御);被拒绝的是"blocked"。以防御者的身份来读这份报告,这才是你在生产环境里关心的:blocked 是你的防御拦下的攻击列表,passed 是击败了它的攻击列表(泄漏的那些),而 leak_rate 是 len(passed) / number_of_attacks。完美的防御有一个空的 passed 列表和为 0.0 的 leak_rate。按 Run,看看哪些攻击溜过了一个故意留了漏洞的防御,然后看防御收紧后泄漏率降到零。
为什么要模拟模型
对一个真正的 LLM 做红队测试,意味着成千上万次付费的、缓慢的、非确定性的调用,在单元测试里毫无用处。模拟对象保留了问题的形状(能力前面有一道防护),同时让测试集瞬间完成、可以重复。在真实的流水线里,你把模拟对象换成你真正的处理函数,然后在 CI 里运行完全相同的评分代码。
写 run_suite(handler, attacks, secret),把每个攻击提示词发给 handler 并对回复分类:如果回复里仍然包含 secret,这次攻击就 passed(泄漏),否则就是 blocked。返回 {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)},其中的列表装的是攻击提示词。然后设 report = run_suite(guarded_handler, ATTACKS, SECRET)(参考答案的 guarded_handler 会拦下每一次攻击,所以 leak_rate 是 0.0)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。