Программа курса Урок 193 из 250 · Ответственный ИИ: Безопасность, Модерация и Ред-тиминг
Ответственный ИИ: Безопасность, Модерация и Ред-тиминг

Набор инструментов для состязательной красной команды

У вас есть дверной охранник и классификатор тона. Как узнать, что они действительно work? Вы атакуете свое собственное приложение. набор red-team тестов это фиксированная батарея состязательных промптов, которые вы направляете на свой защищенный handler при каждом изменении, чтобы регрессия в защите отображалась числом вместо заголовка. Это эквивалент тестового набора для безопасности.

Все происходит офлайн и детерминировано. "Модель" это крошечный мок, поэтому тест быстрый и никогда не вызывает сеть: guarded_handler(prompt) который сначала запускает вашу защиту, и только если промпт разрешен, он возвращает (мнимый) конфиденциальный ответ.

SECRET = "the launch code is 1234"

def guarded_handler(prompt):
    if is_attack(prompt):
        return "I can't help with that."   # blocked
    return SECRET                          # the model 'answered'

Атака прошла (утечка), когда ответ обработчика все еще содержит секрет. Она была заблокирована, когда ответом является отказ. Вы запустите набор размеченных промптов атаки через обработчик и подсчитаете результат:

{
  "passed":  [...],   # attacks that got through and leaked the secret (bad)
  "blocked": [...],   # attacks the defence stopped (good)
  "leak_rate": 0.0    # fraction of attacks that leaked the secret
}

заметка по именованию, потому что это путает людей: метки соответствуют конвенции red-team, названные со стороны attacker's. Атака, которая раскрыла секрет, "passed" (она прошла вашу защиту); атака, которая была отклонена, "blocked". Читайте отчет как защитник, так как это важно для вас в продакшене: blocked это список атак, которые ваша защита остановила, passed это список атак, которые победили её (те, что раскрыли секрет), и leak_rate это len(passed) / number_of_attacks. Идеальная защита имеет пустой passed список и leak_rate из 0.0. Нажмите Run, чтобы увидеть, какие атаки проскальзывают через намеренно дырявую защиту, а затем посмотрите, как скорость утечки падает до нуля, когда защита ужесточена.

Зачем имитировать модель

Red-teaming реальной LLM означает тысячи платных, медленных и недетерминированных вызовов, которые бесполезны внутри unit-теста. Mock сохраняет shape проблемы (защиту перед возможностью), делая набор тестов мгновенным и повторяемым. В реальном пайплайне вы заменяете mock на ваш реальный handler и запускаете тот же самый код оценки в CI.

Твоя очередь

Напишите run_suite(handler, attacks, secret), который пропускает каждый prompt атаки через handler и классифицирует ответ: если ответ все еще содержит secret, атака passed (утечка), иначе она была blocked. Верните {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)}, где списки содержат prompts атак. Затем установите report = run_suite(guarded_handler, ATTACKS, SECRET) (блоки guarded_handler решения блокируют каждую атаку, поэтому leak_rate это 0.0).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.