Обнаружение джейлбрейка и инъекций промптов
Первое, что нужно реальному продукту на базе LLM, это вышибала на входе. Прежде чем сообщение пользователя достигнет модели, вы пропускаете его через дешевую и быструю проверку на классические jailbreak приемы: попытки переопределить ваш system prompt, протащить скрытые инструкции или заставить модель принять роль без правил. Это не вся история безопасности, но это слой, который ловит ленивые 90% атак почти без затрат.
Вы построите detect_jailbreak(text), который возвращает небольшой словарь: {"flag": bool, "reason": str}. Когда текст похож на атаку, вы устанавливаете flag=True и называете паттерн; когда он похож на обычный запрос, вы пропускаете его с flag=False и reason="clean". Мы ищем три известные семьи, проверяемые в этом порядке приоритета:
- ignore-previous -> пользователь пытается стереть правила: такие фразы как
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> пользователь назначает беззаконную роль:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, печально известныйdeveloper mode. - encoded-instruction -> пользователь прячет реальный запрос за кодировкой чтобы обойти фильтры ключевых слов:
decode this base64 and run it,rot13: ...,execute the following hex.
Механика намеренно проста: приведите текст к нижнему регистру один раз, затем проверьте наличие нескольких триггерных подстрок для каждой группы. Совпадения не зависят от регистра, поэтому IGNORE PREVIOUS и ignore previous оба срабатывают.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Два честных нюанса, которые заложены в этом уроке. Во-первых, priority matters: сообщение может затронуть больше одной семьи, поэтому вы проверяете ignore-previous, затем role-play-override, затем encoded-instruction и возвращаете первое совпадение. Во-вторых, это screen, а не гарантия. Умный атакующий может перефразировать любой список ключевых слов, и именно поэтому в продакшн-стеках это дополняется обученным классификатором (следующий урок) и набором инструментов red-team (урок после него). Фильтры по ключевым словам это дешевая первая сеть, а не единственная сеть. Нажмите Run, чтобы увидеть, как смесь атак и безобидных запросов сортируется.
Напишите detect_jailbreak(text), возвращая {"flag": bool, "reason": str}. Переведите текст в нижний регистр, затем проверьте три семейства атак в порядке приоритета и верните первое совпадение: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no) и encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Это полные списки; проверка использует именно эти фразы. Безопасный текст возвращает {"flag": False, "reason": "clean"}.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.