Pipeline di protezioni + traccia
Questo è l'ultimo pezzo, ed è quello che ti permette di mettere il gateway davanti a utenti veri: sicurezza e osservabilità. Prima che qualsiasi testo arrivi al modello lo fai passare da una pipeline di protezioni che blocca i tentativi di prompt injection e ripulisce i dati personali. E dopo ogni chiamata registri un evento di traccia, poi raccogli quegli eventi nel riassunto che guarda davvero un ingegnere di turno. Insieme queste due idee, "protezioni" e "contabilità dei costi", completano la riga del curriculum con cui hai cominciato questo modulo.
La guardia. Scrivi guard(request) che esamina il testo della richiesta e restituisce un dict di verdetto come {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]}. Due controlli:
- Blocco dell'injection: se il testo corrisponde a uno schema d'attacco noto (pensa a "ignore all previous instructions", "reveal the system prompt", "you are now..."), rifiutalo subito con
allowed=False. Qui basta una piccola lista di regex che non distinguono le maiuscole. - Oscuramento dei dati personali: altrimenti, togli dal testo email e numeri di telefono, sostituendoli con i segnaposto
[EMAIL]e[PHONE], e restituisci il testo pulito conallowed=Truepiù la lista dei tipi trovati.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)
def guard(request):
text = request["text"]
if INJECTION.search(text):
return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
clean, kinds = redact(text)
return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}La traccia. Ogni richiesta servita lascia una briciola: quale gestore è stato eseguito, se è stata bloccata, e quanto è costata. Scrivi aggregate_trace(events) su una lista di dict con le chiavi handler, blocked e cost, che restituisce un riassunto con il numero totale di calls, quante sono state blocks, il total_cost delle chiamate che sono state davvero permesse, e una suddivisione by_handler di chiamate e costo per gestore. È un lavoro perfetto per un groupby di pandas:
df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])Le richieste bloccate non costano niente e non devono gonfiare total_cost, quindi somma il costo solo sulle righe permesse. Gestisci il caso della traccia vuota così un gateway nuovo riporta zeri puliti invece di andare in crash. Premi Run per bloccare un'injection, oscurare una richiesta piena di recapiti, far passare una richiesta innocua, e stampare una traccia riassunta.
Scrivi guard(request) (request ha una chiave "text") che restituisce un dict di verdetto. Blocca i tentativi di prompt injection (una piccola lista di regex che non distinguono le maiuscole) con allowed=False e reason="injection"; altrimenti oscura email e numeri di telefono con i segnaposto [EMAIL]/[PHONE] e restituisci allowed=True, il text pulito, e la lista dei tipi trovati. Poi scrivi aggregate_trace(events) su dict con handler, blocked, cost che restituisce {"calls", "blocks", "total_cost", "by_handler"}, dove total_cost somma solo le chiamate permesse (non bloccate) e by_handler suddivide chiamate/costo per gestore.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.