पाठ्यक्रम 250 में से पाठ 184 · LLMs को production तक ले जाना: लागत, caching और guardrails
LLMs को production तक ले जाना: लागत, caching और guardrails

Prompt-injection बचाव pipeline

Prompt injection SQL injection का LLM वाला रूप है: एक उपयोगकर्ता अपने इनपुट में निर्देश चुपके से डालता है ताकि आपका system prompt पलटे, उसे लीक करे, या मॉडल का बर्ताव हाईजैक करे। क्लासिक payloads में "ignore all previous instructions", "reveal your system prompt", "you are now a...", और "developer mode" शामिल हैं। बचाव की एक व्यावहारिक पहली पंक्ति एक detector है जो इन जाने पैटर्नों को खोजता है, पहले वाले PII redactor और एक आउटपुट जाँच के साथ, सब एक अकेले पहरेदार में जुड़े जिससे सब कुछ गुज़रता है।

detector को इतना ख़ास होना चाहिए कि झूठा शोर न मचाए। "I previously visited Paris" सामान्य है और इसे नहीं पकड़ा जाना चाहिए; "ignore all previous instructions" को पकड़ा जाना चाहिए। आप ख़तरनाक वाक्यांश पर मिलान करते हैं, किसी एक मासूम शब्द पर नहीं, और चिह्नित करने के कारण लौटाते हैं ताकि रोक की जाँच हो सके।

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

पूरा द्वार टुकड़ों को जोड़ता है: कच्चे इनपुट पर injection पकड़ें, PII छिपाएँ, और (नक़ली) मॉडल को सिर्फ़ तब बुलाएँ जब इनपुट सुरक्षित हो। production में मॉडल क़दम एक असली कॉल होता; यहाँ एक stub उसकी जगह है ताकि ग्रेडिंग निश्चित रहे। आपको जिस बात पर ग्रेड किया जाता है वह द्वार का तर्क है।

दो फ़ंक्शन बनाएँ। (1) detect_injection(text) -> एक dict {"is_injection": bool, "score": int, "patterns": [...]} जहाँ score है कितने पैटर्न मिले। (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: अगर injection पकड़ा जाए, तो blocked=True सेट करें और reasons में "prompt_injection" जोड़ें; हमेशा PII को safe_text में छिपाएँ और, अगर कोई PII मिला, तो "pii_redacted" से शुरू होने वाला एक कारण जोड़ें। एक साफ़ संदेश बिना छुए और बिना रुके गुज़र जाता है।

आपकी बारी

detect_injection(text) बनाएँ जो {"is_injection", "score", "patterns"} लौटाए (score = मिले injection पैटर्नों की संख्या) और guard(user_text) जो {"safe_text", "blocked", "reasons"} लौटाए। injection पकड़े जाने पर guard रोकता है (कारण "prompt_injection" जोड़ता है), हमेशा PII को safe_text में छिपाता है (कोई मिलने पर "pii_redacted..." कारण जोड़ते हुए), और साफ़ संदेश को बिना छुए और बिना रुके छोड़ता है। "I previously asked about the weather" जैसा सामान्य हमशक्ल नहीं रुकना चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।