Конвейер защиты от Prompt-Injection
Prompt injection - это аналог SQL injection для LLM: пользователь протаскивает инструкции в свой ввод, пытаясь переопределить ваш system prompt, украсть его или захватить поведение модели. Классические нагрузки включают "ignore all previous instructions", "reveal your system prompt", "you are now a..." и "developer mode". Практическая первая линия защиты - это detector, который сканирует эти известные паттерны, в паре с PII redactor из предыдущего раздела и проверкой вывода, все это подключено к единому guard, через который проходит весь поток.
Детектор должен быть достаточно специфичным, чтобы не давать ложных тревог. "Я раньше посещал Париж" безобидны и не должны активировать его; "ignore all previous instructions" должен. Вы ищете опасную phrase, а не отдельное невинное слово, и возвращаете причины, по которым вы пометили запрос, чтобы блокировка была проверяемой.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyПолный шлюз собирает части вместе: обнаружение инъекции в сырых данных, удаление PII и вызов (заглушки) модели только когда входные данные безопасны. В продакшене шаг модели был бы реальным вызовом; здесь стоит заглушка, чтобы оценка оставалась детерминированной. Точка, по которой вы оцениваетесь, это логика шлюза.
Создайте две функции. (1) detect_injection(text) -> словарь {"is_injection": bool, "score": int, "patterns": [...]}, где score это количество совпавших паттернов. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: если обнаружена инъекция, установите blocked=True и добавьте "prompt_injection" в причины; всегда скрывайте PII в safe_text и, если PII было найдено, добавьте причину, начинающуюся с "pii_redacted". Чистое сообщение проходит без изменений и без блокировки.
Создайте detect_injection(text), возвращающий {"is_injection", "score", "patterns"} (score = количество совпавших паттернов инъекции) и guard(user_text), возвращающий {"safe_text", "blocked", "reasons"}. guard блокирует (добавляет причину "prompt_injection"), когда обнаружена инъекция, всегда скрывает PII в safe_text (добавляя причину "pii_redacted...", если она найдена), и оставляет чистое сообщение нетронутым и незаблокированным. Безобидный похожий текст типа "I previously asked about the weather" не должен блокироваться.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.