프롬프트 주입 방어 파이프라인
프롬프트 주입은 SQL 주입의 LLM 판이에요: 사용자가 입력에 지시를 몰래 넣어 시스템 프롬프트를 덮어쓰거나, 새어 나가게 하거나, 모델의 행동을 가로채려 해요. 고전적인 공격 문구로는 "ignore all previous instructions", "reveal your system prompt", "you are now a...", "developer mode"가 있어요. 실용적인 첫 방어선은 이런 알려진 패턴을 훑는 탐지기예요. 앞의 PII 가리개와 출력 확인과 짝지어, 모든 게 지나가는 하나의 경비로 묶어요.
탐지기는 늑대가 왔다고 외치지 않을 만큼 구체적이어야 해요. "I previously visited Paris"는 무해하니 걸리면 안 되고, "ignore all previous instructions"는 걸려야 해요. 무해한 단어 하나가 아니라 위험한 구절에 맞추고, 표시한 이유를 돌려줘서 막은 것을 감사할 수 있게 해요.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively전체 관문은 조각들을 엮어요: 날것의 입력에서 주입을 탐지하고, PII를 가리고, 입력이 안전할 때만 (대역) 모델을 불러요. 실무에서는 모델 단계가 진짜 호출이겠지만, 여기서는 채점이 결정적이도록 대역이 대신해요. 채점되는 부분은 관문 로직이에요.
함수 두 개를 만드세요. (1) detect_injection(text) -> dict {"is_injection": bool, "score": int, "patterns": [...]}, score는 일치한 패턴 수예요. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: 주입이 탐지되면 blocked=True로 정하고 reasons에 "prompt_injection"을 더해요. 언제나 PII를 가려 safe_text에 넣고, PII를 하나라도 찾으면 "pii_redacted"로 시작하는 이유를 덧붙여요. 깨끗한 메시지는 손대지 않고 막히지 않은 채 지나가요.
{"is_injection", "score", "patterns"}(score = 일치한 주입 패턴 수)를 돌려주는 detect_injection(text)와 {"safe_text", "blocked", "reasons"}를 돌려주는 guard(user_text)를 만드세요. guard는 주입이 탐지되면 막고(이유 "prompt_injection"을 더해요), 언제나 PII를 가려 safe_text에 넣고(하나라도 찾으면 "pii_redacted..." 이유를 덧붙여요), 깨끗한 메시지는 손대지 않고 막지 않아요. "I previously asked about the weather" 같은 무해하게 닮은 글은 막히면 안 돼요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.