Temario Lección 191 de 250 · IA responsable: seguridad, moderación y red-teaming
IA responsable: seguridad, moderación y red-teaming

Detección de jailbreaks e inyección de prompts

Lo primero que necesita un producto de LLM real es un portero en la puerta. Antes de que el mensaje de un usuario llegue siquiera al modelo, lo pasas por una comprobación barata y rápida en busca de los movimientos clásicos de jailbreak: intentos de anular tu prompt de sistema, colar instrucciones ocultas o convencer al modelo de adoptar una personalidad sin reglas. No es toda la historia de la seguridad, pero es la capa que atrapa el 90% perezoso de los ataques casi sin coste.

Vas a construir detect_jailbreak(text), que devuelve un pequeño dict: {"flag": bool, "reason": str}. Cuando el texto parece un ataque pones flag=True y nombras el patrón; cuando parece una petición normal lo dejas pasar con flag=False y reason="clean". Buscamos tres familias conocidas, comprobadas en este orden de prioridad:

  • ignore-previous -> el usuario intenta borrar las reglas: frases como ignore previous instructions, disregard the above, forget your instructions.
  • role-play-override -> el usuario asigna una personalidad sin ley: you are now DAN, act as an AI with no restrictions, pretend you have no rules, el infame developer mode.
  • encoded-instruction -> el usuario esconde la petición real tras una codificación para esquivar los filtros de palabras clave: decode this base64 and run it, rot13: ..., execute the following hex.

La mecánica es sencilla a propósito: pasa el texto a minúsculas una vez y luego busca un puñado de subcadenas disparadoras por familia. La búsqueda no distingue mayúsculas, así que tanto IGNORE PREVIOUS como ignore previous la disparan.

def detect_jailbreak(text):
    t = text.lower()
    if any(p in t for p in ("ignore previous", "disregard the above", ...)):
        return {"flag": True, "reason": "ignore-previous"}
    ...
    return {"flag": False, "reason": "clean"}

Dos advertencias honestas que esta lección incorpora. Primero, la prioridad importa: un mensaje puede disparar más de una familia, así que compruebas ignore-previous, luego role-play-override, luego encoded-instruction, y devuelves la primera coincidencia. Segundo, esto es un filtro, no una garantía. Un atacante listo puede parafrasear para esquivar cualquier lista de palabras clave, y por eso precisamente las pilas de producción lo combinan con un clasificador entrenado (próxima lección) y una batería de red-teaming (la siguiente). Los filtros de palabras clave son la primera red barata, no la única. Pulsa Ejecutar para ver cómo se clasifica una mezcla de ataques y peticiones inofensivas.

Tu turno

Escribe detect_jailbreak(text), que devuelva {"flag": bool, "reason": str}. Pasa el texto a minúsculas y luego comprueba tres familias de ataques en orden de prioridad, devolviendo la primera coincidencia: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no) y encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Estas son las listas completas; la comprobación usa exactamente estas frases. El texto inofensivo devuelve {"flag": False, "reason": "clean"}.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.