Deteksi Jailbreak & Prompt-Injection
Hal pertama yang dibutuhkan produk LLM asli adalah penjaga di pintu. Sebelum pesan pengguna sampai ke model, kamu jalankan pengecekan murah dan cepat untuk gerakan jailbreak klasik: upaya untuk menimpa system prompt kamu, menyelundupkan instruksi tersembunyi, atau membujuk model ke persona tanpa aturan. Ini bukan seluruh cerita keamanan, tapi ini adalah lapisan yang menangkap 90% serangan malas dengan biaya hampir nol.
Kamu akan membangun detect_jailbreak(text) yang mengembalikan dict kecil: {"flag": bool, "reason": str}. Saat teks terlihat seperti serangan kamu mengatur flag=True dan menamai polanya; saat terlihat seperti permintaan biasa kamu meloloskannya dengan flag=False dan reason="clean". Kita mencari tiga keluarga yang terkenal, diperiksa dalam urutan prioritas ini:
- ignore-previous -> pengguna mencoba menghapus aturan: frasa seperti
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> pengguna memberikan persona tanpa hukum:
you are now DAN,act as an AI with no restrictions,pretend you have no rules,developer modeyang terkenal. - encoded-instruction -> pengguna menyembunyikan permintaan asli di balik pengkodean untuk menghindari filter kata kunci:
decode this base64 and run it,rot13: ...,execute the following hex.
Mekanismenya sengaja dibuat simpel: ubah teks jadi huruf kecil sekali, lalu tes beberapa substring pemicu per keluarga. Pencocokan tidak peka huruf besar kecil jadi IGNORE PREVIOUS dan ignore previous keduanya aktif.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Ada dua catatan jujur yang ada di pelajaran ini. Pertama, prioritas itu penting: sebuah pesan bisa memicu lebih dari satu keluarga, jadi kamu cek ignore-previous, lalu role-play-override, lalu encoded-instruction, dan kembalikan hasil pertama. Kedua, ini adalah sebuah filter, bukan jaminan. Penyerang yang cerdas bisa memparafrase di sekitar daftar kata kunci apa pun, itulah alasan kenapa stack produksi melapiskan ini dengan classifier terlatih (pelajaran berikutnya) dan suite red-team (pelajaran setelahnya). Filter kata kunci adalah jaring pertama yang murah, bukan satu-satunya jaring. Tekan Run untuk melihat campuran serangan dan permintaan aman dikategorikan.
Tulis detect_jailbreak(text) yang mengembalikan {"flag": bool, "reason": str}. Ubah teks jadi huruf kecil, lalu cek tiga keluarga serangan sesuai urutan prioritas dan kembalikan hasil pertama: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), dan encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Ini adalah daftar lengkap; pengecekan menggunakan frasa ini tepat seperti adanya. Teks aman mengembalikan {"flag": False, "reason": "clean"}.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.