Riconoscere jailbreak e prompt injection
La prima cosa di cui ha bisogno un vero prodotto LLM è un buttafuori alla porta. Prima che il messaggio di un utente arrivi al modello, lo fai passare da un controllo economico e veloce per le classiche mosse di jailbreak: tentativi di scavalcare il tuo prompt di sistema, di infilare istruzioni nascoste, o di convincere il modello a interpretare un personaggio senza regole. Non è tutta la storia della sicurezza, ma è lo strato che becca il 90% pigro degli attacchi quasi senza costo.
Costruirai detect_jailbreak(text) che restituisce un piccolo dict: {"flag": bool, "reason": str}. Quando il testo sembra un attacco imposti flag=True e nomini lo schema; quando sembra una richiesta normale lo lasci passare con flag=False e reason="clean". Cerchiamo tre famiglie ben note, controllate in quest'ordine di priorità:
- ignore-previous -> l'utente prova a cancellare le regole: frasi come
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> l'utente assegna un personaggio senza leggi:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, la famigeratadeveloper mode. - encoded-instruction -> l'utente nasconde la vera richiesta dietro una codifica per scansare i filtri di parole chiave:
decode this base64 and run it,rot13: ...,execute the following hex.
Il meccanismo è volutamente semplice: metti il testo in minuscolo una volta, poi cerca una manciata di sottostringhe scatenanti per famiglia. Il confronto non distingue le maiuscole così sia IGNORE PREVIOUS sia ignore previous scattano.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Due avvertenze oneste che questa lezione incorpora. Primo, la priorità conta: un messaggio può far scattare più di una famiglia, quindi controlli ignore-previous, poi role-play-override, poi encoded-instruction, e restituisci il primo risultato. Secondo, è un filtro, non una garanzia. Un attaccante furbo può riformulare aggirando qualsiasi lista di parole chiave, ed è proprio per questo che gli stack di produzione lo combinano con un classificatore addestrato (prossima lezione) e una batteria di red teaming (la lezione dopo). I filtri a parole chiave sono la prima rete economica, non l'unica. Premi Run per guardare un misto di attacchi e richieste innocue venire smistati.
Scrivi detect_jailbreak(text) che restituisce {"flag": bool, "reason": str}. Metti il testo in minuscolo, poi controlla tre famiglie di attacchi in ordine di priorità e restituisci il primo risultato: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), e encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Queste sono le liste complete; la verifica usa esattamente queste frasi. Un testo innocuo restituisce {"flag": False, "reason": "clean"}.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.