Kumpulan Alat Red-Team Adversarial
Kamu punya bouncer pintu dan pengklasifikasi nada. Bagaimana kamu tahu mereka benar-benar work? Kamu menyerang aplikasimu sendiri. Sebuah red-team suite adalah kumpulan prompt adversarial tetap yang kamu tembakkan ke handler yang kamu jaga setiap ada perubahan, jadi regresi pada pertahananmu muncul sebagai angka alih-alih berita utama. Ini adalah setara keamanan dari sebuah test suite.
Semuanya offline dan deterministik. "model" ini adalah mock kecil supaya tesnya cepat dan tidak pernah memanggil jaringan: sebuah guarded_handler(prompt) yang pertama kali menjalankan defence kamu, dan hanya jika prompt diizinkan baru ia mengembalikan jawaban sensitif (pura-pura).
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Serangan berhasil masuk (kebocoran) saat balasan handler masih berisi rahasia. Itu terblokir saat balasannya adalah penolakan. Kamu akan menjalankan rangkaian prompt serangan berlabel melalui handler dan menghitung hasilnya:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
} catatan tentang penamaan, karena ini sering membingungkan: labelnya adalah konvensi red-team, dinamai dari sisi attacker's. Serangan yang membocorkan rahasia dianggap "passed" (lolos dari pertahananmu); yang ditolak dianggap "blocked". Baca laporan sebagai pembela, karena itulah yang kamu pedulikan di produksi: blocked adalah daftar serangan yang dihentikan pertahananmu, passed adalah daftar serangan yang mengalahkan pertahanan (yang bocor), dan leak_rate adalah len(passed) / number_of_attacks. Pertahanan sempurna memiliki daftar passed yang kosong dan leak_rate dari 0.0. Tekan Run untuk melihat serangan mana yang lolos dari pertahanan yang sengaja dibuat bocor, lalu lihat tingkat kebocoran turun ke nol setelah pertahanan diperketat.
Kenapa harus mock modelnya
Melakukan red-teaming pada LLM asli berarti ribuan panggilan berbayar, lambat, dan tidak deterministik, yang tidak berguna di dalam unit test. Mock menjaga shape dari masalah (penjaga di depan sebuah kemampuan) sambil membuat suite menjadi instan dan dapat diulang. Di pipeline asli kamu menukar mock dengan handler aslimu dan menjalankan kode scoring yang sama persis di CI.
Tulis run_suite(handler, attacks, secret) yang mengirim setiap prompt serangan melalui handler dan mengklasifikasikan balasannya: jika balasan masih berisi secret maka serangan passed (bocor), jika tidak maka itu blocked. Kembalikan {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} di mana list menyimpan prompt serangan. Lalu atur report = run_suite(guarded_handler, ATTACKS, SECRET) (guarded_handler dari solusi memblokir setiap serangan, jadi leak_rate adalah 0.0).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.