Lehrplan Lektion 184 von 250 · LLMs in Produktion: Kosten, Caching & Guardrails
LLMs in Produktion: Kosten, Caching & Guardrails

Prompt-Injection-Abwehr-Pipeline

Prompt injection ist das LLM-Äquivalent zu SQL injection: ein Benutzer schmuggelt Anweisungen in seine Eingabe, um deinen Systemprompt zu überschreiben, ihn zu leaken oder das Verhalten des Modells zu kapern. Klassische Payloads umfassen "ignore all previous instructions", "reveal your system prompt", "you are now a..." und "developer mode". Eine praktische erste Verteidigungslinie ist ein detector, der nach diesen bekannten Mustern scannt, gepaart mit dem PII redactor von vorhin und einer Output-Prüfung, alles verkabelt in einer einzigen guard, durch die alles fließt.

Der Detektor muss spezifisch genug sein, um keine Fehlalarme auszulösen. "Ich habe zuvor Paris besucht" ist harmlos und darf ihn nicht auslösen; "ignore all previous instructions" muss es. Du passt auf die gefährliche phrase auf, nicht auf ein einzelnes unschuldiges Wort, und du gibst die Gründe an, warum du es markiert hast, damit der Block prüfbar ist.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

Das gesamte Tor setzt die Teile zusammen: detektiere Injection auf dem rohen Input, schwärze PII und rufe das (gestubbed) model nur auf, wenn der Input sicher ist. In der Produktion wäre der model Schritt ein echter Aufruf; hier steht ein stub anstelle davon, damit das Grading deterministisch bleibt. Der Punkt, an dem du bewertet wirst, ist die gate logic.

Erstelle zwei Funktionen. (1) detect_injection(text) -> ein Dictionary {"is_injection": bool, "score": int, "patterns": [...]}, wo score angibt, wie viele Muster übereinstimmten. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: wenn eine Injection erkannt wird, setze blocked=True und füge "prompt_injection" zu reasons hinzu; maskiere immer PII in safe_text und, falls PII gefunden wurde, füge einen Grund hinzu, der mit "pii_redacted" beginnt. Eine saubere Nachricht geht unberührt und ungeblockt durch.

Du bist dran

Erstelle detect_injection(text), das {"is_injection", "score", "patterns"} zurückgibt (score = Anzahl der übereinstimmenden Injection-Muster) und guard(user_text), das {"safe_text", "blocked", "reasons"} zurückgibt. guard blockiert (fügt Grund "prompt_injection" hinzu), wenn eine Injection erkannt wird, schwärzt immer PII in safe_text (fügt einen "pii_redacted..." Grund hinzu, wenn einer gefunden wird) und lässt eine harmlose Nachricht unberührt und unblockiert. Ein harmloser Lookalike wie "I previously asked about the weather" darf nicht blockiert werden.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.