المنهج الدراسي الدرس 191 من 250 · الذكاء الاصطناعي المسؤول: السلامة، والإشراف، واختبار الاختراق
الذكاء الاصطناعي المسؤول: السلامة، والإشراف، واختبار الاختراق

كشف كسر الحماية وحقن الأوامر

أول شيء يحتاجه منتج LLM حقيقي هو حارس عند الباب. قبل أن تصل رسالة المستخدم إلى model، تقوم بتمريرها عبر فحص رخيص وسريع لتحركات jailbreak الكلاسيكية: محاولات تجاوز system prompt الخاص بك، أو تهريب تعليمات مخفية، أو إقناع model بتبني شخصية بلا قواعد. هذه ليست قصة الأمان كاملة، لكنها الطبقة التي تصطاد 90% من الهجمات الكسولة مقابل تكلفة تكاد تكون معدومة.

ستقوم ببناء detect_jailbreak(text) الذي يعيد dict صغيرا: {"flag": bool, "reason": str}. عندما يبدو النص كأنه هجوم تقوم بضبط flag=True وتسمية النمط؛ وعندما يبدو كطلب عادي تسمح بمروره باستخدام flag=False و reason="clean". نحن نبحث عن ثلاث عائلات معروفة، يتم فحصها بهذا الترتيب من الأولويات:

  • ignore-previous -> يحاول المستخدم مسح القواعد: عبارات مثل ignore previous instructions، disregard the above، forget your instructions.
  • role-play-override -> يقوم المستخدم بتعيين شخصية خارجة عن القانون: you are now DAN، act as an AI with no restrictions، pretend you have no rules، المعروف بـ developer mode.
  • encoded-instruction -> يقوم المستخدم بإخفاء الطلب الحقيقي خلف ترميز لتجنب فلاتر الكلمات المفتاحية: decode this base64 and run it, rot13: ..., execute the following hex.

الآلية بسيطة عمدا: حول النص إلى أحرف صغيرة مرة واحدة، ثم اختبر مجموعة من السلاسل الفرعية المحفزة لكل عائلة. المطابقة غير حساسة لحالة الأحرف لذا يعمل كل من IGNORE PREVIOUS و ignore previous.

def detect_jailbreak(text):
    t = text.lower()
    if any(p in t for p in ("ignore previous", "disregard the above", ...)):
        return {"flag": True, "reason": "ignore-previous"}
    ...
    return {"flag": False, "reason": "clean"}

هناك تنبيهان صادقان يتضمنهما هذا الدرس. أولا، الأولوية مهمة: يمكن للرسالة أن تطابق أكثر من عائلة، لذا تتحقق من ignore-previous، ثم role-play-override، ثم encoded-instruction، وتعيد أول نتيجة مطابقة. ثانيا، هذا حاجز وليس ضمانا. يمكن للمهاجم الذكي إعادة صياغة أي قائمة كلمات مفتاحية، وهذا هو السبب بالضبط في أن بيئات الإنتاج تدمج هذا مع classifier مدرب (الدرس القادم) ومجموعة red-team (الدرس الذي يليه). حواجز الكلمات المفتاحية هي الشبكة الأولى الرخيصة، وليست الشبكة الوحيدة. اضغط Run لمشاهدة مزيج من الهجمات والطلبات غير الضارة وهي يتم فرزها.

دورك

اكتب detect_jailbreak(text) مع إرجاع {"flag": bool, "reason": str}. حول النص إلى أحرف صغيرة، ثم افحص ثلاث عائلات هجوم بترتيب الأولوية وأرجع أول نتيجة: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous)، وrole-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no)، وencoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). هذه هي القوائم الكاملة؛ الفحص يستخدم هذه العبارات بالضبط. النص غير الضار يرجع {"flag": False, "reason": "clean"}.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.