Détecter les jailbreaks et l'injection de prompt
La première chose dont a besoin un vrai produit LLM, c'est d'un videur à l'entrée. Avant qu'un message d'utilisateur n'atteigne le modèle, tu le fais passer par une vérification rapide et bon marché des coups classiques de jailbreak : tentatives d'écraser ton prompt système, de glisser des instructions cachées, ou de pousser le modèle dans un personnage sans règles. Ce n'est pas toute l'histoire de la sécurité, mais c'est la couche qui attrape les 90% d'attaques paresseuses pour presque rien.
Tu vas construire detect_jailbreak(text) qui renvoie un petit dict : {"flag": bool, "reason": str}. Quand le texte ressemble à une attaque, tu mets flag=True et tu nommes le motif ; quand il ressemble à une demande ordinaire, tu le laisses passer avec flag=False et reason="clean". On cherche trois familles bien connues, testées dans cet ordre de priorité :
- ignore-previous -> l'utilisateur essaie d'effacer les règles : des phrases comme
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> l'utilisateur impose un personnage hors la loi :
you are now DAN,act as an AI with no restrictions,pretend you have no rules, le fameuxdeveloper mode. - encoded-instruction -> l'utilisateur cache la vraie demande derrière un encodage pour échapper aux filtres de mots-clés :
decode this base64 and run it,rot13: ...,execute the following hex.
Le mécanisme est volontairement simple : passe le texte en minuscules une fois, puis teste une poignée de sous-chaînes déclencheuses par famille. La correspondance ne tient pas compte de la casse, donc IGNORE PREVIOUS et ignore previous déclenchent tous deux.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Deux précisions honnêtes sont intégrées à cette leçon. D'abord, la priorité compte : un message peut déclencher plus d'une famille, donc tu testes ignore-previous, puis role-play-override, puis encoded-instruction, et tu renvoies la première correspondance. Ensuite, c'est un filtre, pas une garantie. Un attaquant malin peut contourner n'importe quelle liste de mots-clés en reformulant, et c'est exactement pour ça que les systèmes de production ajoutent un classifieur entraîné (leçon suivante) et une batterie de red-teaming (celle d'après). Les filtres par mots-clés sont le premier filet bon marché, pas le seul. Appuie sur Run pour voir un mélange d'attaques et de demandes inoffensives se faire trier.
Écris detect_jailbreak(text) qui renvoie {"flag": bool, "reason": str}. Passe le texte en minuscules, puis teste trois familles d'attaques dans l'ordre de priorité et renvoie la première correspondance : ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), et encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Ce sont les listes complètes ; la vérification utilise exactement ces phrases. Un texte inoffensif renvoie {"flag": False, "reason": "clean"}.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.