Kurrikulum Leson 228 van 250 · Projek: Produksie AI-poort
Projek: Produksie AI-poort

Veiligheidshek Pypelyn + Spoor

Dit is die laaste stuk, en dit is die een wat jou toelaat om die gateway voor werklike gebruikers te sit: safety en observability. Voordat enige teks die model bereik, laat jy dit deur 'n guard pipeline loop wat prompt-injection pogings blokkeer en persoonlike data skoonmaak. En na elke call rekordeer jy 'n trace event, dan rol jy daardie events saam in die opsomming wat 'n on-call engineer werklik kyk. Saam voltooi hierdie twee idees, "guardrail" en "cost-account", die resume lyn waarmee jy hierdie module begin het.

Die wag. Skryf guard(request) wat die versoekteks inspekteer en 'n verdict dict soos {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]} teruggee. Twee kontroles:

  • Injeksieblok:as die teks by 'n bekende aanvalpatroon pas (dink aan "ignore all previous instructions", "reveal the system prompt", "you are now..."), weier dit regweg met allowed=False. 'n Klein lys van nie-gevoelige regexe is genoeg hier.
  • PII redigering: anders, vee e-posse en telefoonnommers uit die teks uit, vervang hulle met [EMAIL] en [PHONE] plekhouers, en gee die skoon teks met allowed=True plus die lys van soorte wat jy gevind het terug.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

Die spoor. Elke bediende versoek los 'n kruimelpad: watter handler het gehardloop, of dit geblokkeer is, en wat dit gekos het. Skryf aggregate_trace(events) oor 'n lys van dicts met sleutels handler, blocked, en cost, en gee 'n opsomming terug met die totale aantal calls, hoeveel wat blocks was, die total_cost van die oproepe wat werklik toegelaat is, en 'n by_handler uiteensetting van oproepe en koste per handler. Dit is 'n perfekte werk vir 'n pandas groupby:

df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

Geblokkeerde versoeke kos niks en moet nie total_cost opblaas nie, so tel koste net oor die toegelaatse rye. Hanseer die leë-trace geval sodat 'n nuwe gateway skoon nulle rapporteer in plaas van om te kras. Druk Run om 'n inspuiting te blokkeer, 'n versoek vol kontakbesonderhede te redigeer, 'n onskadelike een deur te laat, en 'n saamgevoegde trace te druk.

Jou beurt

Skryf guard(request) (aanvraag het 'n "text" sleutel) wat 'n verdict dict teruggee. Blokkeer prompt-injection pogings ( 'n klein lys van case-insensitive regexes) met allowed=False en reason="injection"; anders redigeer e-posse en telefoonnommers na [EMAIL]/[PHONE] placeholders en gee allowed=True, die skoongemaakte text, en die lys van soorte wat gevind is terug. Skryf dan aggregate_trace(events) oor dicts met handler, blocked, cost wat {"calls", "blocks", "total_cost", "by_handler"} teruggee, waar total_cost som net die toegelaatse (nie-blokkies) oproepe en by_handler breek oproepe/koste per handler af.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.