Programme Leçon 184 sur 250 · Mettre les LLM en production : coût, cache et garde-fous
Mettre les LLM en production : coût, cache et garde-fous

Chaîne de défense contre l'injection de prompt

L'injection de prompt est l'équivalent LLM de l'injection SQL : un utilisateur glisse des instructions dans son entrée pour essayer d'écraser ton prompt système, le faire fuiter ou détourner le comportement du modèle. Les charges classiques incluent "ignore all previous instructions", "reveal your system prompt", "you are now a..." et "developer mode". Une première ligne de défense pratique est un détecteur qui cherche ces motifs connus, associé au masqueur de données personnelles vu plus tôt et à un contrôle de sortie, le tout branché dans une seule garde par laquelle tout passe.

Le détecteur doit être assez précis pour ne pas crier au loup. "I previously visited Paris" est inoffensif et ne doit pas le déclencher ; "ignore all previous instructions" doit le déclencher. Tu cherches la phrase dangereuse, pas un seul mot innocent, et tu renvoies les raisons du signalement pour que le blocage soit vérifiable.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

La barrière complète assemble les pièces : détecter l'injection sur l'entrée brute, masquer les données personnelles, et n'appeler le modèle (simulé) que quand l'entrée est sûre. En production, l'étape du modèle serait un vrai appel ; ici une simulation la remplace pour que la notation reste déterministe. Ce qui est noté, c'est la logique de la barrière.

Construis deux fonctions. (1) detect_injection(text) -> un dict {"is_injection": bool, "score": int, "patterns": [...]} où score est le nombre de motifs trouvés. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]} : si une injection est détectée, mets blocked=True et ajoute "prompt_injection" aux raisons ; masque toujours les données personnelles dans safe_text et, si tu en as trouvé, ajoute une raison qui commence par "pii_redacted". Un message propre passe intact et sans blocage.

À ton tour

Construis detect_injection(text) qui renvoie {"is_injection", "score", "patterns"} (score = nombre de motifs d'injection trouvés) et guard(user_text) qui renvoie {"safe_text", "blocked", "reasons"}. guard bloque (ajoute la raison "prompt_injection") quand une injection est détectée, masque toujours les données personnelles dans safe_text (en ajoutant une raison "pii_redacted..." quand il en trouve), et laisse un message propre intact et sans blocage. Une phrase inoffensive qui y ressemble, comme "I previously asked about the weather", ne doit pas être bloquée.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.