Jailbreak ve Prompt-Injection Tespiti
Gerçek bir LLM ürününün ilk ihtiyacı kapıda bir korumadır. Bir kullanıcının mesajı modele ulaşmadan önce, onu klasik jailbreak hamleleri için ucuz ve hızlı bir kontrolden geçirirsin: sistem promptunu geçersiz kılma, gizli talimatlar sokma veya modeli kuralsız bir kişiliğe ikna etme girişimleri. Bu güvenlik hikayesinin tamamı değil ama neredeyse hiç maliyet olmadan saldırıların tembel %90'ını yakalayan katmandır.
Küçük bir dict döndüren detect_jailbreak(text) oluşturacaksın: {"flag": bool, "reason": str}. Metin bir saldırı gibi göründüğünde flag=True ayarlar ve deseni adlandırırsın; normal bir istek gibi göründüğünde flag=False ve reason="clean" ile geçmesine izin verirsin. Üç bilinen aileyi şu öncelik sırasıyla kontrol ediyoruz:
- ignore-previous -> kullanıcı kuralları silmeye çalışıyor:
ignore previous instructions,disregard the above,forget your instructionsgibi ifadeler. - role-play-override -> kullanıcı kuralsız bir kişilik atıyor:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, kötü şöhretlideveloper mode. - encoded-instruction -> kullanıcı, anahtar kelime filtrelerinden kaçmak için gerçek isteği bir kodlamanın arkasına saklar:
decode this base64 and run it,rot13: ...,execute the following hex.
Mekanikler bilerek basit tutuldu: metni bir kez küçük harfe çevir, sonra her aile için birkaç tetikleyici alt diziyi test et. Eşleşme büyük/küçük harf duyarlı değildir, bu yüzden hem IGNORE PREVIOUS hem de ignore previous çalışır.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Bu dersin içinde yer alan iki dürüst uyarı var. İlk olarak, öncelik önemli: bir mesaj birden fazla aileyi tetikleyebilir, bu yüzden önce ignore-previous, sonra role-play-override, sonra encoded-instruction kontrol edilir ve ilk eşleşme döndürülür. İkinci olarak, bu bir ekran, bir garanti değil. Zeki bir saldırgan herhangi bir anahtar kelime listesini dolaylı yoldan ifade edebilir, tam da bu yüzden üretim sistemleri bunu eğitilmiş bir classifier (sonraki ders) ve bir red-team seti (bir sonraki ders) ile katmanlandırır. Anahtar kelime ekranları ucuz ilk ağdır, tek ağ değildir. Karışık saldırıların ve zararsız isteklerin nasıl ayrıştırıldığını izlemek için Run tuşuna bas.
{"flag": bool, "reason": str} döndüren detect_jailbreak(text) yaz. Metni küçük harfe çevir, sonra üç saldırı ailesini öncelik sırasına göre kontrol et ve ilk sonucu döndür: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no) ve encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Bunlar tam listelerdir; kontrol tam olarak bu ifadeleri kullanır. Zararsız metin {"flag": False, "reason": "clean"} döndürür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.