Programma Les 228 van 250 · Project: AI-gateway voor productie
Project: AI-gateway voor productie

Vangrailpijplijn + trace

Dit is het laatste stuk, en het is het stuk waarmee je de gateway voor echte gebruikers kunt zetten: veiligheid en observeerbaarheid. Voordat er tekst bij het model komt, haal je die door een bewakingspijplijn die pogingen tot promptinjectie blokkeert en persoonsgegevens wegpoetst. En na elke aanroep leg je een trace-gebeurtenis vast en vat je die gebeurtenissen samen in het overzicht waar een dienstdoende engineer echt naar kijkt. Samen maken deze twee ideeën, "vangrail" en "kosten verantwoorden", de cv-regel af waarmee je deze module begon.

De bewaker. Schrijf guard(request), die de tekst van het verzoek bekijkt en een oordeel-dict teruggeeft zoals {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]}. Twee controles:

  • Injectie blokkeren: als de tekst overeenkomt met een bekend aanvalspatroon (denk aan "ignore all previous instructions," "reveal the system prompt," "you are now..."), weiger hem dan meteen met allowed=False. Een kleine lijst regexen zonder onderscheid tussen hoofd- en kleine letters is hier genoeg.
  • Persoonsgegevens maskeren: poets anders e-mailadressen en telefoonnummers uit de tekst, vervang ze door de plaatshouders [EMAIL] en [PHONE], en geef de opgeschoonde tekst terug met allowed=True plus de lijst van soorten die je vond.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

De trace. Elk afgehandeld verzoek laat een spoor achter: welke handler draaide, of het geblokkeerd werd en wat het kostte. Schrijf aggregate_trace(events) over een lijst dicts met de sleutels handler, blocked en cost, die een overzicht teruggeeft met het totale aantal calls, hoeveel er blocks waren, de total_cost van de aanroepen die echt werden toegelaten, en een uitsplitsing by_handler van aanroepen en kosten per handler. Dit is een perfecte klus voor een groupby van pandas:

df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

Geblokkeerde verzoeken kosten niets en mogen total_cost niet opblazen, dus tel de kosten alleen op over de toegelaten rijen. Vang het geval van een lege trace op, zodat een nieuwe gateway nette nullen meldt in plaats van te crashen. Druk op Run om een injectie te blokkeren, een verzoek vol contactgegevens te maskeren, een onschuldig verzoek door te laten en een samengevatte trace af te drukken.

Jij bent aan de beurt

Schrijf guard(request) (request heeft een "text" key) die een verdict dict retourneert. Blokkeer prompt-injection pogingen (een kleine lijst van case-insensitive regexes) met allowed=False en reason="injection"; anders redacteer e-mails en telefoonnummers naar [EMAIL]/[PHONE] placeholders en retourneer allowed=True, de schoongemaakte text, en de lijst van gevonden soorten. Schrijf dan aggregate_trace(events) over dicts met handler, blocked, cost die {"calls", "blocks", "total_cost", "by_handler"} retourneren, waarbij total_cost alleen de toegestane (niet-geblokkeerde) calls optelt en by_handler calls/kosten per handler uitsplitst.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.