プロンプトインジェクションの防御パイプライン
プロンプトインジェクションは、LLM 版の SQL インジェクションです:ユーザーが入力に指示をこっそり紛れ込ませ、システムプロンプトを上書きしたり、漏らしたり、モデルのふるまいを乗っ取ったりしようとするのです。古典的なペイロードには「ignore all previous instructions」「reveal your system prompt」「you are now a...」「developer mode」などがあります。実用的な最初の防衛線は、こうした既知のパターンを探す検出器で、それを先ほどの PII の伏せ字化と出力の確認と組み合わせ、すべてが通り抜ける 1 つの守りにつなぎます。
検出器は、オオカミ少年にならないくらい具体的でなければなりません。「I previously visited Paris」は無害なので反応してはいけませんが、「ignore all previous instructions」には反応しなければなりません。照合するのは、無害な単語 1 つではなく危険な言い回しで、ブロックを監査できるように、印を付けた理由を返します。
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively完全な関門は部品を組み合わせたものです:生の入力でインジェクションを検出し、PII を伏せ字にし、入力が安全なときだけ(スタブの)モデルを呼びます。本番ではモデルのステップは本物の呼び出しですが、ここでは採点が決定的なままになるようにスタブが代わりを務めます。採点されるのは関門のロジックです。
関数を 2 つ作ってください。(1) detect_injection(text) -> 辞書 {"is_injection": bool, "score": int, "patterns": [...]}。score はいくつのパターンが一致したかです。(2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}:インジェクションを検出したら blocked=True にして reasons に "prompt_injection" を加えます。常に PII を伏せ字にして safe_text に入れ、PII が見つかったら "pii_redacted" で始まる理由を追加します。きれいなメッセージは手を加えられず、ブロックもされずに通ります。
{"is_injection", "score", "patterns"}(score = 一致したインジェクションのパターンの数)を返す detect_injection(text) と、{"safe_text", "blocked", "reasons"} を返す guard(user_text) を作ってください。guard はインジェクションを検出したらブロックし(理由 "prompt_injection" を加える)、常に PII を伏せ字にして safe_text に入れ(何か見つかったら "pii_redacted..." の理由を追加する)、きれいなメッセージは手を加えずブロックもしません。「I previously asked about the weather」のような、無害なのに似ているものはブロックしてはいけません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。