خط أنابيب الدفاع ضد حقن الأوامر
Prompt injection هو المعادل لـ SQL injection في نماذج LLM: يقوم المستخدم بتهريب تعليمات داخل مدخلاته لمحاولة تجاوز system prompt الخاص بك، أو تسريبه، أو اختطاف سلوك النموذج. تشمل الحمولات الكلاسيكية "ignore all previous instructions"، و "reveal your system prompt"، و "you are now a..."، و "developer mode". خط الدفاع الأول العملي هو detector يقوم بفحص هذه الأنماط المعروفة، مقترناً بـ PII redactor من السابق وفحص للمخرجات، وكلها متصلة بـ guard واحد يمر من خلاله كل شيء.
يجب أن يكون الكاشف دقيقاً بما يكفي لكي لا يعطي إنذارات كاذبة. جملة "I previously visited Paris" غير ضارة ويجب ألا يكتشفها؛ أما جملة "ignore all previous instructions" فيجب أن يكتشفها. أنت تطابق على phrase الخطيرة، وليس على كلمة بريئة واحدة، وتُرجع الأسباب التي أدت إلى وضع العلامة لكي يكون الحظر قابلاً للتدقيق.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyتتكون البوابة الكاملة من الأجزاء: اكتشاف الحقن في المدخلات الخام، وحذف PII، واستدعاء model (المزيف) فقط عندما يكون المدخل آمنا. في بيئة الإنتاج ستكون خطوة model استدعاء حقيقيا؛ هنا يحل stub مكانه ليبقى التقييم حتميا. النقطة التي يتم تقييمك عليها هي gate logic.
قم ببناء دالتين. (1) detect_injection(text) -> قاموس {"is_injection": bool, "score": int, "patterns": [...]} حيث يمثل score عدد الأنماط المتطابقة. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: إذا تم اكتشاف injection، قم بتعيين blocked=True وأضف "prompt_injection" إلى reasons؛ قم دائماً بحجب PII في safe_text، وإذا تم العثور على أي PII، أضف سببا يبدأ بـ "pii_redacted". الرسالة النظيفة تمر دون تغيير أو حظر.
قم ببناء detect_injection(text) الذي يعيد {"is_injection", "score", "patterns"} (score = عدد أنماط الحقن المتطابقة) و guard(user_text) الذي يعيد {"safe_text", "blocked", "reasons"}. يقوم guard بالحظر (يضيف سبب "prompt_injection") عند اكتشاف حقن، ويقوم دائماً بحجب PII إلى safe_text (يضيف سبب "pii_redacted..." عند العثور على أي منها)، ويترك الرسالة السليمة دون تغيير أو حظر. يجب عدم حظر الرسائل المشابهة غير الضارة مثل "I previously asked about the weather".
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.