Bir Adversarial Red-Team Suite
Bir kapı görevlin ve bir ton sınıflandırıcı var. Bunların gerçekten çalıştığını nasıl anlarsın? Kendi uygulamana saldırırsın. Bir red-team suite, her değişiklikte korunan handlerına ateş ettiğin sabit bir düşmanca istemler bataryasıdır, böylece savunmandaki bir gerileme bir başlık yerine bir sayı olarak görünür. Bu, test suiteinin güvenlik eşdeğeridir.
Her şey çevrimdışı ve deterministik. "model" küçük bir mock olduğu için test hızlı çalışır ve asla bir ağa bağlanmaz: önce savunmanı çalıştıran ve sadece prompt izin verildiğinde (sahte) hassas cevabı döndüren bir guarded_handler(prompt).
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Bir saldırı geçti (bir sızıntı) çünkü handler'ın cevabı hala secret içeriyor. Cevap reddedilme olduğunda engellendi. Handler üzerinden etiketli bir dizi saldırı promptu çalıştıracaksın ve sonucu hesaplayacaksın:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}İsimlendirme hakkında bir not, çünkü insanlar burada yanılıyor: etiketler red-team geleneğidir, attacker's tarafından adlandırılmıştır. Gizli bilgiyi sızdıran bir saldırı "passed" (savunmanızı geçti) olarak geçer; reddedilenler ise "blocked" olarak geçer. Raporu savunmacı olarak oku, çünkü üretim ortamında senin için önemli olan budur: blocked savunmanın durdurduğu saldırıların listesidir, passed onu yenen (sızan) saldırıların listesidir ve leak_rate len(passed) / number_of_attacks'dir. Kusursuz bir savunma boş bir passed listesine ve leak_rate of 0.0'ye sahiptir. Hangi saldırıların kasten sızdırılabilir bir savunmadan kaçtığını görmek için Run tuşuna bas, sonra savunma sıkılaştırıldığında sızıntı oranının sıfıra düştüğünü izle.
Model neden mocklansın
Gerçek bir LLM'e red-teaming yapmak, bir unit test içinde işe yaramayan binlerce ücretli, yavaş ve deterministik olmayan çağrı demektir. Mock, problemin shape yapısını (bir yeteneğin önündeki koruma) korurken test setini anında ve tekrarlanabilir hale getirir. Gerçek bir pipeline içinde mock yerine kendi handler'ını koyarsın ve CI içinde tamamen aynı scoring kodunu çalıştırırsın.
Her bir saldırı istemini handler üzerinden gönderen ve yanıtı sınıflandıran run_suite(handler, attacks, secret) yaz. Eğer yanıt hala secret içeriyorsa saldırı passed (sızdırıldı), aksi takdirde blocked oldu. Listelerin saldırı istemlerini tuttuğu {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} değerini döndür. Sonra report = run_suite(guarded_handler, ATTACKS, SECRET) değerini ayarla (çözümün guarded_handler her saldırıyı engeller, bu yüzden leak_rate değeri 0.0 olur).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.