पाठ्यक्रम 250 में से पाठ 191 · ज़िम्मेदार AI: सुरक्षा, moderation और red-teaming
ज़िम्मेदार AI: सुरक्षा, moderation और red-teaming

Jailbreak और prompt-injection पहचान

एक असली LLM product को सबसे पहले दरवाज़े पर एक पहरेदार चाहिए। उपयोगकर्ता का संदेश मॉडल तक पहुँचने से पहले आप उसे क्लासिक jailbreak चालों के लिए एक सस्ती, तेज़ जाँच से गुज़ारते हैं: आपके system prompt को पलटने, छिपे निर्देश घुसाने, या मॉडल को बिना नियमों वाले किरदार में बहलाने की कोशिशें। यह पूरी सुरक्षा कहानी नहीं है, पर यह वह परत है जो लगभग बिना लागत के 90% आलसी हमले पकड़ लेती है।

आप detect_jailbreak(text) बनाएँगे जो एक छोटी dict लौटाता है: {"flag": bool, "reason": str}। जब टेक्स्ट हमले जैसा दिखे तो आप flag=True सेट करते हैं और पैटर्न का नाम देते हैं; जब यह एक साधारण अनुरोध जैसा दिखे तो आप उसे flag=False और reason="clean" के साथ जाने देते हैं। हम तीन जाने-पहचाने परिवार देखते हैं, इसी प्राथमिकता क्रम में जाँचे गए:

  • ignore-previous -> उपयोगकर्ता नियम मिटाने की कोशिश करता है: ignore previous instructions, disregard the above, forget your instructions जैसे वाक्यांश।
  • role-play-override -> उपयोगकर्ता एक बेक़ानून किरदार थोपता है: you are now DAN, act as an AI with no restrictions, pretend you have no rules, बदनाम developer mode।
  • encoded-instruction -> उपयोगकर्ता keyword filters से बचने के लिए असली माँग को एक encoding के पीछे छिपाता है: decode this base64 and run it, rot13: ..., execute the following hex।

तरीका जानबूझकर सादा है: टेक्स्ट को एक बार छोटे अक्षरों में बदलें, फिर हर परिवार के लिए मुट्ठी भर trigger टुकड़े जाँचें। मिलान छोटे-बड़े अक्षर नहीं देखता इसलिए IGNORE PREVIOUS और ignore previous दोनों पकड़े जाते हैं।

def detect_jailbreak(text):
    t = text.lower()
    if any(p in t for p in ("ignore previous", "disregard the above", ...)):
        return {"flag": True, "reason": "ignore-previous"}
    ...
    return {"flag": False, "reason": "clean"}

दो ईमानदार चेतावनियाँ जो यह पाठ शामिल करता है। पहली, प्राथमिकता मायने रखती है: एक संदेश एक से ज़्यादा परिवार छू सकता है, इसलिए आप ignore-previous, फिर role-play-override, फिर encoded-instruction जाँचते हैं, और पहला मिलान लौटाते हैं। दूसरी, यह एक छन्नी है, गारंटी नहीं। एक चालाक हमलावर किसी भी keyword सूची के इर्द-गिर्द शब्द बदलकर निकल सकता है, ठीक इसीलिए production ढाँचे इसके ऊपर एक train किया classifier (अगला पाठ) और एक red-team suite (उसके बाद वाला पाठ) रखते हैं। Keyword छन्नियाँ सस्ता पहला जाल हैं, अकेला जाल नहीं। हमलों और साधारण माँगों के मिश्रण को छँटते देखने के लिए Run दबाएँ।

आपकी बारी

detect_jailbreak(text) लिखें जो {"flag": bool, "reason": str} लौटाए। टेक्स्ट को छोटे अक्षरों में बदलें, फिर तीन हमला परिवार प्राथमिकता क्रम में जाँचें और पहला मिलान लौटाएँ: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), और encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex)। ये पूरी सूचियाँ हैं; जाँच ठीक इन्हीं वाक्यांशों का इस्तेमाल करती है। सामान्य टेक्स्ट {"flag": False, "reason": "clean"} लौटाता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।