Jailbreak- en Prompt-Injection-opsporing
Die eerste ding wat 'n regte LLM-produk nodig het, is 'n deurwagter by die deur. Voordat 'n gebruiker se boodskap die model bereik, hardloop jy dit deur 'n goedkoop, vinnige kontrole vir die klassieke jailbreak-steke: pogings om jou system prompt te oorskryf, weg te smokkel van wegste instruksies, of om die model te oorpraat na 'n persona sonder reëls. Dit is nie die hele veiligheidsverhaal nie, maar dit is die laag wat die lui 90% van aanvalle teen byna geen koste vang nie.
Jy gaan detect_jailbreak(text) bou wat 'n klein dict teruggee: {"flag": bool, "reason": str}. Wanneer die teks soos 'n aanval lyk, stel jy flag=True in en gee die patroon 'n naam; wanneer dit soos 'n gewone versoek lyk, laat jy dit deur met flag=False en reason="clean". Ons soek vir drie bekende families, wat in hierdie prioriteitsorde gekontroleer word:
- ignore-previous -> die gebruiker probeer die reëls vee uit: frases soos
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> die gebruiker stel 'n wettelose persona aan:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, die berugtedeveloper mode. - encoded-instruction -> die gebruiker verberg die werklike versoek agter 'n enkodering om sleutelwoordfilters te ontduik:
decode this base64 and run it,rot13: ...,execute the following hex.
Die meganismes is doelbewus eenvoudig: verander die teks na kleinletters een keer, dan toets vir 'n handvol trigger substrings per familie. Paswinning is niegevoelig vir hoofletters so IGNORE PREVIOUS en ignore previous beide vuur.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Twee eerlike voorwaardes wat hierdie les insluit. Eereens, prioriteit saak: 'n boodskap kan meer as een familie tref, so jy kontroleer ignore-previous, dan role-play-override, dan encoded-instruction, en gee die eerste tref terug. Tweedens is dit 'n skerm, nie 'n waarborg nie. 'n Slim aanvaller kan enige sleutelwoordlys oorskryf, wat presies die rede is waarom produksiestakke dit saam met 'n getoë baar (volgende les) en 'n red-team suite (die les daarna) laag. Sleutelwoordskerms is die goedkoop eerste net, nie die enigste net nie. Druk Run om te sien hoe 'n mengsel van aanvalle en onskuldige versoeke gesorteer word.
Skryf detect_jailbreak(text) wat {"flag": bool, "reason": str} teruggee. Maak die teks klein, dan kontroleer drie aanvalfamilies in prioriteitsorde en gee die eerste trefsel terug: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), en encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Dit is die volledige lysse; die kontrole gebruik presies hierdie frases. Onskadelike teks gee {"flag": False, "reason": "clean"} terug.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.