Lehrplan Lektion 228 von 250 · Projekt: Production AI Gateway
Projekt: Production AI Gateway

Leitplanken-Pipeline + Trace

Das ist das letzte Stück, und genau das erlaubt dir, das Gateway vor echte Nutzer zu stellen: Sicherheit und Beobachtbarkeit. Bevor irgendein Text das Modell erreicht, schickst du ihn durch eine Wächter-Pipeline, die Prompt-Injection-Versuche blockiert und persönliche Daten entfernt. Und nach jedem Aufruf hältst du ein Trace-Ereignis fest und fasst diese Ereignisse zu der Übersicht zusammen, auf die ein Bereitschaftsingenieur wirklich schaut. Zusammen vervollständigen diese zwei Ideen, "Leitplanke" und "Kostenabrechnung," die Lebenslaufzeile, mit der du dieses Modul begonnen hast.

Der Wächter. Schreib guard(request), das den Text der Anfrage prüft und ein Urteils-Dict zurückgibt wie {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]}. Zwei Prüfungen:

  • Injection blockieren: Passt der Text zu einem bekannten Angriffsmuster (denk an "ignore all previous instructions," "reveal the system prompt," "you are now..."), lehne ihn sofort mit allowed=False ab. Eine kleine Liste von Regexen ohne Rücksicht auf Groß- und Kleinschreibung reicht hier.
  • Persönliche Daten schwärzen: Entferne sonst E-Mails und Telefonnummern aus dem Text, ersetze sie durch die Platzhalter [EMAIL] und [PHONE] und gib den bereinigten Text mit allowed=True zurück, plus die Liste der gefundenen Arten.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

Der Trace. Jede bediente Anfrage hinterlässt eine Spur: welcher Handler lief, ob sie blockiert wurde und was sie gekostet hat. Schreib aggregate_trace(events) über eine Liste von Dicts mit den Schlüsseln handler, blocked und cost, das eine Übersicht zurückgibt mit der Gesamtzahl der calls, wie viele davon blocks waren, den total_cost der tatsächlich erlaubten Aufrufe und einer Aufschlüsselung by_handler nach Aufrufen und Kosten pro Handler. Das ist ein perfekter Job für ein groupby von pandas:

df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

Blockierte Anfragen kosten nichts und dürfen total_cost nicht aufblähen, also summiere die Kosten nur über die erlaubten Zeilen. Behandle den Fall eines leeren Trace, damit ein frisches Gateway saubere Nullen meldet, statt abzustürzen. Drück auf Run, um eine Injection zu blockieren, eine Anfrage voller Kontaktdaten zu schwärzen, eine harmlose durchzulassen und einen zusammengefassten Trace auszugeben.

Du bist dran

Schreibe guard(request) (die Anfrage hat einen "text" Schlüssel) und gib ein verdict dict zurück. Blockiere prompt-injection Versuche (eine kleine Liste von case-insensitive regexes) mit allowed=False und reason="injection"; ansonsten anonymisiere E-Meils und Telefonnummern zu [EMAIL]/[PHONE] Platzhaltern und gib allowed=True, das bereinigte text und die Liste der gefundenen Arten zurück. Schreibe dann aggregate_trace(events) über dicts mit handler, blocked, cost und gib {"calls", "blocks", "total_cost", "by_handler"} zurück, wobei total_cost nur die erlaubten (nicht blockierten) Aufrufe summiert und by_handler Aufrufe/Kosten pro handler aufschlüsselt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.