탈옥과 프롬프트 주입 감지하기
실제 LLM 제품에 가장 먼저 필요한 건 문 앞의 경비원이에요. 사용자의 메시지가 모델에 닿기 전에, 고전적인 탈옥 수법을 찾는 싸고 빠른 확인을 거쳐요: 시스템 프롬프트를 덮어쓰려는 시도, 숨은 지시를 몰래 넣기, 규칙 없는 인격으로 모델을 꾀어내기. 안전의 전부는 아니지만, 게으른 공격의 90%를 거의 공짜로 잡는 층이에요.
작은 dict {"flag": bool, "reason": str}를 돌려주는 detect_jailbreak(text)를 만들어요. 글이 공격처럼 보이면 flag=True로 정하고 패턴의 이름을 대요. 평범한 요청처럼 보이면 flag=False와 reason="clean"으로 통과시켜요. 잘 알려진 세 계열을 이 우선순위로 확인해요:
- ignore-previous -> 사용자가 규칙을 지우려 해요:
ignore previous instructions,disregard the above,forget your instructions같은 구절. - role-play-override -> 사용자가 무법의 인격을 맡겨요:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, 악명 높은developer mode. - encoded-instruction -> 사용자가 키워드 거름망을 피하려고 진짜 요청을 인코딩 뒤에 숨겨요:
decode this base64 and run it,rot13: ...,execute the following hex.
방식은 일부러 단순해요: 글을 한 번 소문자로 바꾸고, 계열마다 몇 개의 촉발 부분 문자열을 확인해요. 대소문자를 구분하지 않으니 IGNORE PREVIOUS와 ignore previous 둘 다 걸려요.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}이 레슨에 담긴 솔직한 단서 두 가지. 첫째, 우선순위가 중요해요: 메시지 하나가 여러 계열에 걸릴 수 있으니 ignore-previous, 그다음 role-play-override, 그다음 encoded-instruction을 확인하고 처음 걸린 것을 돌려줘요. 둘째, 이건 선별이지 보장이 아니에요. 영리한 공격자는 어떤 키워드 목록이든 바꿔 말해서 돌아갈 수 있고, 그래서 실무 스택은 이것을 훈련된 분류기(다음 레슨)와 레드팀 모음(그다음 레슨)과 겹쳐 써요. 키워드 선별은 첫 번째 싼 그물이지, 유일한 그물이 아니에요. 공격과 무해한 요청이 섞인 것이 분류되는 걸 보려면 실행을 누르세요.
{"flag": bool, "reason": str}를 돌려주는 detect_jailbreak(text)를 쓰세요. 글을 소문자로 바꾸고, 공격 계열 세 개를 우선순위대로 확인해 처음 걸린 것을 돌려주세요: ignore-previous(ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override(you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), encoded-instruction(base64, rot13, decode this, decode the following, execute the following hex, run this hex). 이게 전체 목록이고, 확인은 정확히 이 구절들을 써요. 무해한 글은 {"flag": False, "reason": "clean"}을 돌려줘요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.