Pipeline de garde-fou + Trace
C'est la dernière pièce, et c'est celle qui te permet de mettre la passerelle devant de vrais utilisateurs : la sécurité et l'observabilité. Avant qu'un texte n'atteigne le modèle, tu le fais passer par un pipeline de garde-fous qui bloque les tentatives d'injection de prompt et efface les données personnelles. Et après chaque appel, tu enregistres un événement de trace, puis tu regroupes ces événements dans le résumé qu'un ingénieur d'astreinte regarde vraiment. Ensemble, ces deux idées, « garde-fou » et « suivi des coûts », complètent la ligne de CV par laquelle tu as commencé ce module.
Le garde. Écris guard(request) qui inspecte le texte de la requête et retourne un dictionnaire de verdict comme {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]}. Deux vérifications :
- Bloc d'injection : si le texte correspond à un modèle d'attaque connu (pense à "ignore all previous instructions", "reveal the system prompt", "you are now..."), refuse-le carrément avec
allowed=False. Une petite liste de regex non sensibles à la casse suffit ici. - Masquage des données personnelles : sinon, efface les e-mails et les numéros de téléphone du texte, remplace-les par des marqueurs
[EMAIL]et[PHONE], et renvoie le texte nettoyé avecallowed=Trueplus la liste des types trouvés.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)
def guard(request):
text = request["text"]
if INJECTION.search(text):
return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
clean, kinds = redact(text)
return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}La trace. Chaque requête servie laisse une trace : quel handler a tourné, s'il a été bloqué, et ce qu'il a coûté. Écris aggregate_trace(events) sur une liste de dicts avec les clés handler, blocked, et cost, en retournant un résumé avec le nombre total de calls, combien ont été blocks, la total_cost des appels qui ont été réellement autorisés, et une décomposition by_handler des appels et du coût par handler. C'est un travail parfait pour un pandas groupby:
df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])Les requêtes bloquées ne coûtent rien et ne doivent pas gonfler total_cost, donc ne somme le coût que sur les lignes autorisées. Gère le cas d'une trace vide pour qu'une passerelle toute neuve affiche des zéros propres au lieu de planter. Appuie sur Run pour bloquer une injection, masquer une requête pleine de coordonnées, laisser passer une requête inoffensive et afficher une trace regroupée.
Écris guard(request) (la requête a une clé "text") retournant un dictionnaire verdict. Bloque les tentatives d'injection de prompt (une petite liste de regex insensibles à la casse) avec allowed=False et reason="injection"; sinon censure les emails et numéros de téléphone vers les marqueurs [EMAIL]/[PHONE] et retourne allowed=True, le text nettoyé, et la liste des types trouvés. Écris ensuite aggregate_trace(events) sur les dictionnaires avec handler, blocked, cost retournant {"calls", "blocks", "total_cost", "by_handler"}, où total_cost additionne seulement les appels autorisés (non bloqués) et by_handler décompose les appels/coûts par gestionnaire.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.