Jailbreak & Prompt-injectie detectie
Het eerste wat een echt LLM product nodig heeft is een uitsmijter bij de deur. Voordat het bericht van een gebruiker het model bereikt, haal je het door een goedkope, snelle check voor de klassieke jailbreak acties: pogingen om je system prompt te overschrijven, verborgen instructies mee te smokkelen, of het model te overtuigen om een persona aan te nemen zonder regels. Dit is niet het hele veiligheidsverhaal, maar het is de laag die de luie 90% van de aanvallen vangt voor bijna geen kosten.
Je bouwt detect_jailbreak(text) dat een kleine dictionary teruggeeft: {"flag": bool, "reason": str}. Als de tekst lijkt op een aanval stel je flag=True in en geef je de pattern een naam; als het lijkt op een gewone aanvraag laat je het door met flag=False en reason="clean". We zoeken naar drie bekende families, gecontroleerd in deze volgorde:
- ignore-previous -> de gebruiker probeert de regels te wissen: zinnen zoals
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> de gebruiker wijst een wetteloze persoonlijkheid toe:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, de beruchtedeveloper mode. - encoded-instruction -> de gebruiker verbergt de echte vraag achter een codering om trefwoordfilters te ontwijken:
decode this base64 and run it,rot13: ...,execute the following hex.
De mechanica is bewust eenvoudig: zet de tekst naar kleine letters, en test dan op een handvol trigger substrings per familie. Matching is niet hoofdlettergevoelig, dus IGNORE PREVIOUS en ignore previous vuren beide.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Twee eerlijke kantekeningen die deze les bevat. Ten eerste, priority matters: een bericht kan meer dan één familie triggeren, dus je controleert ignore-previous, dan role-play-override, dan encoded-instruction, en geeft de eerste hit terug. Ten tweede, dit is een screen, geen garantie. Een slimme aanvaller kan een trefwoordlijst omzeilen door de tekst te herschrijven, en dat is precies waarom productie-stacks dit combineren met een getrainde classifier (volgende les) en een red-team suite (de les daarna). Trefwoord-screens zijn het goedkope eerste net, niet het enige net. Druk op Run om te zien hoe een mix van aanvallen en onschuldige vragen wordt gesorteerd.
Schrijf detect_jailbreak(text) die {"flag": bool, "reason": str} retourneert. Zet de tekst in kleine letters, controleer dan drie aanvalfamilies in prioriteitsvolgorde en retourneer de eerste hit: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), en encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Dit zijn de volledige lijsten; de controle gebruikt precies deze zinnen. Onschuldige tekst retourneert {"flag": False, "reason": "clean"}.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.