المنهج الدراسي الدرس 184 من 250 · تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية
تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية

خط أنابيب الدفاع ضد حقن الأوامر

Prompt injection هو المعادل لـ SQL injection في نماذج LLM: يقوم المستخدم بتهريب تعليمات داخل مدخلاته لمحاولة تجاوز system prompt الخاص بك، أو تسريبه، أو اختطاف سلوك النموذج. تشمل الحمولات الكلاسيكية "ignore all previous instructions"، و "reveal your system prompt"، و "you are now a..."، و "developer mode". خط الدفاع الأول العملي هو detector يقوم بفحص هذه الأنماط المعروفة، مقترناً بـ PII redactor من السابق وفحص للمخرجات، وكلها متصلة بـ guard واحد يمر من خلاله كل شيء.

يجب أن يكون الكاشف دقيقاً بما يكفي لكي لا يعطي إنذارات كاذبة. جملة "I previously visited Paris" غير ضارة ويجب ألا يكتشفها؛ أما جملة "ignore all previous instructions" فيجب أن يكتشفها. أنت تطابق على phrase الخطيرة، وليس على كلمة بريئة واحدة، وتُرجع الأسباب التي أدت إلى وضع العلامة لكي يكون الحظر قابلاً للتدقيق.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

تتكون البوابة الكاملة من الأجزاء: اكتشاف الحقن في المدخلات الخام، وحذف PII، واستدعاء model (المزيف) فقط عندما يكون المدخل آمنا. في بيئة الإنتاج ستكون خطوة model استدعاء حقيقيا؛ هنا يحل stub مكانه ليبقى التقييم حتميا. النقطة التي يتم تقييمك عليها هي gate logic.

قم ببناء دالتين. (1) detect_injection(text) -> قاموس {"is_injection": bool, "score": int, "patterns": [...]} حيث يمثل score عدد الأنماط المتطابقة. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: إذا تم اكتشاف injection، قم بتعيين blocked=True وأضف "prompt_injection" إلى reasons؛ قم دائماً بحجب PII في safe_text، وإذا تم العثور على أي PII، أضف سببا يبدأ بـ "pii_redacted". الرسالة النظيفة تمر دون تغيير أو حظر.

دورك

قم ببناء detect_injection(text) الذي يعيد {"is_injection", "score", "patterns"} (score = عدد أنماط الحقن المتطابقة) و guard(user_text) الذي يعيد {"safe_text", "blocked", "reasons"}. يقوم guard بالحظر (يضيف سبب "prompt_injection") عند اكتشاف حقن، ويقوم دائماً بحجب PII إلى safe_text (يضيف سبب "pii_redacted..." عند العثور على أي منها)، ويترك الرسالة السليمة دون تغيير أو حظر. يجب عدم حظر الرسائل المشابهة غير الضارة مثل "I previously asked about the weather".

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.