Lehrplan Lektion 191 von 250 · Verantwortungsvolle KI: Sicherheit, Moderation & Red-Teaming
Verantwortungsvolle KI: Sicherheit, Moderation & Red-Teaming

Jailbreak & Prompt-Injection Erkennung

Das erste, was ein echtes LLM Produkt braucht, ist ein Türsteher am Eingang. Bevor die Nachricht eines Nutzers das Modell erreicht, lässt du sie durch eine billige, schnelle Prüfung auf die klassischen jailbreak Manöver laufen: Versuche, deinen system prompt zu überschreiben, versteckte Anweisungen einzuschleusen oder das Modell in eine Persona ohne Regeln zu überreden. Das ist nicht die ganze Sicherheitsgeschichte, aber es ist die Schicht, die die faulen 90% der Angriffe fast ohne Kosten abfängt.

Du wirst detect_jailbreak(text) bauen, das ein kleines Dictionary zurückgibt: {"flag": bool, "reason": str}. Wenn der Text wie ein Angriff aussieht, setzt du flag=True und benennst das Muster; wenn er wie eine gewöhnliche Anfrage aussieht, lässt du ihn mit flag=False und reason="clean" durch. Wir suchen nach drei bekannten Familien, die in dieser Prioritätsreihenfolge geprüft werden:

  • ignore-previous -> der Benutzer versucht die Regeln zu löschen: Phrasen wie ignore previous instructions, disregard the above, forget your instructions.
  • role-play-override -> der Benutzer weist eine gesetzlose Persona zu: you are now DAN, act as an AI with no restrictions, pretend you have no rules, den berüchtigten developer mode.
  • encoded-instruction -> der Benutzer versteckt die echte Anfrage hinter einer Kodierung, um Keyword-Filter zu umgehen: decode this base64 and run it, rot13: ..., execute the following hex.

Die Mechanik ist absichtlich einfach: wandle den Text einmal in Kleinbuchstaben um, dann teste auf eine Handvoll Trigger-Substrings pro Familie. Das Matching ist unabhängig von Groß- und Kleinschreibung, also lösen sowohl IGNORE PREVIOUS als auch ignore previous aus.

def detect_jailbreak(text):
    t = text.lower()
    if any(p in t for p in ("ignore previous", "disregard the above", ...)):
        return {"flag": True, "reason": "ignore-previous"}
    ...
    return {"flag": False, "reason": "clean"}

Zwei ehrliche Einschränkungen sind in dieser Lektion enthalten. Erstens: priority matters: Eine Nachricht kann mehr als eine Familie auslösen, also prüfst du ignore-previous, dann role-play-override, dann encoded-instruction und gibst den ersten Treffer zurück. Zweitens ist dies ein screen, keine Garantie. Ein cleverer Angreifer kann jede Keyword-Liste umschreiben, weshalb Produktions-Stacks dies mit einem trainierten Classifier (nächste Lektion) und einer Red-Team-Suite (die Lektion danach) kombinieren. Keyword-Screens sind das günstige erste Netz, nicht das einzige Netz. Drücke Run um zu sehen, wie eine Mischung aus Angriffen und harmlosen Anfragen sortiert wird.

Du bist dran

Schreibe detect_jailbreak(text) und gib {"flag": bool, "reason": str} zurück. Setze den Text in Kleinbuchstaben, prüfe dann drei Angriffsfamilien in Prioritätsreihenfolge und gib den ersten Treffer zurück: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no) und encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Dies sind die vollständigen Listen; die Prüfung verwendet genau diese Phrasen. Harmloser Text gibt {"flag": False, "reason": "clean"} zurück.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.