课程大纲 第 193 课,共 250 课 · 负责任的 AI:安全、审核与红队测试
负责任的 AI:安全、审核与红队测试

一套对抗性红队测试集

你有了门口的保安和一个语气分类器。你怎么知道它们真的管用?你去攻击自己的应用。红队测试集是一组固定的对抗性提示词,每次改动时你都把它们发向你受保护的处理函数,这样防御上的退步就会表现为一个数字,而不是一条新闻标题。这就是安全领域的测试集。

整个东西是离线、确定性的。"模型"是一个很小的模拟对象,所以测试很快,从不访问网络:一个 guarded_handler(prompt),它先运行你的防御,只有当提示词被允许时,才返回(假装的)敏感答案。

SECRET = "the launch code is 1234"

def guarded_handler(prompt):
    if is_attack(prompt):
        return "I can't help with that."   # blocked
    return SECRET                          # the model 'answered'

当处理函数的回复里仍然包含机密时,一次攻击就突破了(泄漏)。当回复是拒绝时,它就被拦下了。你要让一套带标签的攻击提示词跑过这个处理函数,并统计结果:

{
  "passed":  [...],   # attacks that got through and leaked the secret (bad)
  "blocked": [...],   # attacks the defence stopped (good)
  "leak_rate": 0.0    # fraction of attacks that leaked the secret
}

说一下命名,因为它容易让人犯迷糊:这些标签是红队的惯例,是从攻击者的角度命名的。泄漏了机密的攻击是"passed"(它越过了你的防御);被拒绝的是"blocked"。以防御者的身份来读这份报告,这才是你在生产环境里关心的:blocked 是你的防御拦下的攻击列表,passed 是击败了它的攻击列表(泄漏的那些),而 leak_rate 是 len(passed) / number_of_attacks。完美的防御有一个空的 passed 列表和为 0.0 的 leak_rate。按 Run,看看哪些攻击溜过了一个故意留了漏洞的防御,然后看防御收紧后泄漏率降到零。

为什么要模拟模型

对一个真正的 LLM 做红队测试,意味着成千上万次付费的、缓慢的、非确定性的调用,在单元测试里毫无用处。模拟对象保留了问题的形状(能力前面有一道防护),同时让测试集瞬间完成、可以重复。在真实的流水线里,你把模拟对象换成你真正的处理函数,然后在 CI 里运行完全相同的评分代码。

轮到你了

写 run_suite(handler, attacks, secret),把每个攻击提示词发给 handler 并对回复分类:如果回复里仍然包含 secret,这次攻击就 passed(泄漏),否则就是 blocked。返回 {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)},其中的列表装的是攻击提示词。然后设 report = run_suite(guarded_handler, ATTACKS, SECRET)(参考答案的 guarded_handler 会拦下每一次攻击,所以 leak_rate 是 0.0)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。