Набор инструментов для состязательной красной команды
У вас есть дверной охранник и классификатор тона. Как узнать, что они действительно work? Вы атакуете свое собственное приложение. набор red-team тестов это фиксированная батарея состязательных промптов, которые вы направляете на свой защищенный handler при каждом изменении, чтобы регрессия в защите отображалась числом вместо заголовка. Это эквивалент тестового набора для безопасности.
Все происходит офлайн и детерминировано. "Модель" это крошечный мок, поэтому тест быстрый и никогда не вызывает сеть: guarded_handler(prompt) который сначала запускает вашу защиту, и только если промпт разрешен, он возвращает (мнимый) конфиденциальный ответ.
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Атака прошла (утечка), когда ответ обработчика все еще содержит секрет. Она была заблокирована, когда ответом является отказ. Вы запустите набор размеченных промптов атаки через обработчик и подсчитаете результат:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
} заметка по именованию, потому что это путает людей: метки соответствуют конвенции red-team, названные со стороны attacker's. Атака, которая раскрыла секрет, "passed" (она прошла вашу защиту); атака, которая была отклонена, "blocked". Читайте отчет как защитник, так как это важно для вас в продакшене: blocked это список атак, которые ваша защита остановила, passed это список атак, которые победили её (те, что раскрыли секрет), и leak_rate это len(passed) / number_of_attacks. Идеальная защита имеет пустой passed список и leak_rate из 0.0. Нажмите Run, чтобы увидеть, какие атаки проскальзывают через намеренно дырявую защиту, а затем посмотрите, как скорость утечки падает до нуля, когда защита ужесточена.
Зачем имитировать модель
Red-teaming реальной LLM означает тысячи платных, медленных и недетерминированных вызовов, которые бесполезны внутри unit-теста. Mock сохраняет shape проблемы (защиту перед возможностью), делая набор тестов мгновенным и повторяемым. В реальном пайплайне вы заменяете mock на ваш реальный handler и запускаете тот же самый код оценки в CI.
Напишите run_suite(handler, attacks, secret), который пропускает каждый prompt атаки через handler и классифицирует ответ: если ответ все еще содержит secret, атака passed (утечка), иначе она была blocked. Верните {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)}, где списки содержат prompts атак. Затем установите report = run_suite(guarded_handler, ATTACKS, SECRET) (блоки guarded_handler решения блокируют каждую атаку, поэтому leak_rate это 0.0).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.