Una batería adversaria de red-teaming
Tienes un portero en la puerta y un clasificador de tono. ¿Cómo sabes que de verdad funcionan? Atacas tu propia aplicación. Una batería de red-teaming es un conjunto fijo de prompts adversarios que lanzas contra tu gestor protegido en cada cambio, para que una regresión en tus defensas aparezca como un número y no como un titular. Es el equivalente en seguridad de una batería de pruebas.
Todo funciona sin conexión y es determinista. El "modelo" es una pequeña simulación para que la prueba sea rápida y nunca llame a la red: un guarded_handler(prompt) que primero ejecuta tu defensa y, solo si el prompt está permitido, devuelve la respuesta sensible (ficticia).
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Un ataque se coló (una fuga) cuando la respuesta del gestor sigue conteniendo el secreto. Se bloqueó cuando la respuesta es el rechazo. Pasarás una batería de prompts de ataque etiquetados por el gestor y contarás el resultado:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}Una nota sobre los nombres, porque confunden: las etiquetas siguen la convención del red-teaming y se nombran desde el lado del atacante. Un ataque que filtró el secreto "pasó" (superó tu defensa); uno que se rechazó quedó "bloqueado". Lee el informe como defensor, que es lo que te importa en producción: blocked es la lista de ataques que tu defensa detuvo, passed es la lista de ataques que la derrotaron (los que provocaron fugas) y leak_rate es len(passed) / number_of_attacks. Una defensa perfecta tiene una lista passed vacía y un leak_rate de 0.0. Pulsa Ejecutar para ver qué ataques se cuelan por una defensa agujereada a propósito, y luego mira cómo la tasa de fugas baja a cero cuando se refuerza la defensa.
Por qué simular el modelo
Hacer red-teaming a un LLM real significa miles de llamadas de pago, lentas y no deterministas, inútiles dentro de una prueba unitaria. La simulación conserva la forma del problema (una barrera delante de una capacidad) mientras hace la batería instantánea y repetible. En una canalización real cambias la simulación por tu gestor de verdad y ejecutas exactamente el mismo código de puntuación en la CI.
Escribe run_suite(handler, attacks, secret), que lance cada prompt de ataque contra handler y clasifique la respuesta: si la respuesta sigue conteniendo secret, el ataque pasó (hubo fuga); si no, quedó bloqueado. Devuelve {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)}, donde las listas contienen los prompts de ataque. Luego fija report = run_suite(guarded_handler, ATTACKS, SECRET) (el guarded_handler de la solución bloquea todos los ataques, así que leak_rate es 0.0).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.