Prompt-injection बचाव pipeline
Prompt injection SQL injection का LLM वाला रूप है: एक उपयोगकर्ता अपने इनपुट में निर्देश चुपके से डालता है ताकि आपका system prompt पलटे, उसे लीक करे, या मॉडल का बर्ताव हाईजैक करे। क्लासिक payloads में "ignore all previous instructions", "reveal your system prompt", "you are now a...", और "developer mode" शामिल हैं। बचाव की एक व्यावहारिक पहली पंक्ति एक detector है जो इन जाने पैटर्नों को खोजता है, पहले वाले PII redactor और एक आउटपुट जाँच के साथ, सब एक अकेले पहरेदार में जुड़े जिससे सब कुछ गुज़रता है।
detector को इतना ख़ास होना चाहिए कि झूठा शोर न मचाए। "I previously visited Paris" सामान्य है और इसे नहीं पकड़ा जाना चाहिए; "ignore all previous instructions" को पकड़ा जाना चाहिए। आप ख़तरनाक वाक्यांश पर मिलान करते हैं, किसी एक मासूम शब्द पर नहीं, और चिह्नित करने के कारण लौटाते हैं ताकि रोक की जाँच हो सके।
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyपूरा द्वार टुकड़ों को जोड़ता है: कच्चे इनपुट पर injection पकड़ें, PII छिपाएँ, और (नक़ली) मॉडल को सिर्फ़ तब बुलाएँ जब इनपुट सुरक्षित हो। production में मॉडल क़दम एक असली कॉल होता; यहाँ एक stub उसकी जगह है ताकि ग्रेडिंग निश्चित रहे। आपको जिस बात पर ग्रेड किया जाता है वह द्वार का तर्क है।
दो फ़ंक्शन बनाएँ। (1) detect_injection(text) -> एक dict {"is_injection": bool, "score": int, "patterns": [...]} जहाँ score है कितने पैटर्न मिले। (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: अगर injection पकड़ा जाए, तो blocked=True सेट करें और reasons में "prompt_injection" जोड़ें; हमेशा PII को safe_text में छिपाएँ और, अगर कोई PII मिला, तो "pii_redacted" से शुरू होने वाला एक कारण जोड़ें। एक साफ़ संदेश बिना छुए और बिना रुके गुज़र जाता है।
detect_injection(text) बनाएँ जो {"is_injection", "score", "patterns"} लौटाए (score = मिले injection पैटर्नों की संख्या) और guard(user_text) जो {"safe_text", "blocked", "reasons"} लौटाए। injection पकड़े जाने पर guard रोकता है (कारण "prompt_injection" जोड़ता है), हमेशा PII को safe_text में छिपाता है (कोई मिलने पर "pii_redacted..." कारण जोड़ते हुए), और साफ़ संदेश को बिना छुए और बिना रुके छोड़ता है। "I previously asked about the weather" जैसा सामान्य हमशक्ल नहीं रुकना चाहिए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।