مجموعة أدوات الفريق الأحمر الهجومي
لديك حارس باب ومصنف نبرات. كيف تعرف أنهما يعملان work فعليا؟ قم بمهاجمة تطبيقك الخاص. مجموعة red-team suite هي مجموعة ثابتة من المطالبات العدائية التي تطلقها على المسؤول المحمي لديك عند كل تغيير، لذا يظهر التراجع في دفاعاتك كرقم بدلا من عنوان رئيسي. هذا هو المعادل الأمني لمجموعة اختبار.
النظام بأكمله غير متصل بالإنترنت وحتمي. "model" هو نموذج تجريبي صغير ليكون الاختبار سريعاً ولا يستدعي الشبكة أبداً: guarded_handler(prompt)يقوم أولاً بتشغيل defence الخاص بك، وإذا كان prompt مسموحاً به فقط، فإنه يعيد الإجابة الحساسة (المزيفة).
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'هجوم مر عبر (تسريب) عندما لا يزال رد handler يحتوي على السر. تم حجبه عندما يكون الرد هو الرفض. ستقوم بتشغيل مجموعة من مطالبات الهجوم المصنفة عبر handler وحساب النتيجة:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}ملاحظة حول التسمية، لأنها قد تسبب ارتباكاً: التسميات تتبع اتفاقية الفريق الأحمر، وهي مسمى من جانب attacker's. الهجوم الذي سرب السر يعتبر "passed" (لقد تجاوز دفاعك)؛ والهجوم الذي تم رفضه يعتبر "blocked". اقرأ التقرير بصفتك المدافع، وهو ما يهمك في بيئة الإنتاج: blocked هي قائمة الهجمات التي أوقفها دفاعك، وpassed هي قائمة الهجمات التي هزمت الدفاع (تلك التي تسربت)، وleak_rate هي len(passed) / number_of_attacks. الدفاع المثالي لديه قائمة passed فارغة وleak_rate من 0.0. اضغط على Run لمعرفة الهجمات التي تتسلل عبر دفاع مسرب عمداً، ثم شاهد معدل التسريب ينخفض إلى الصفر بمجرد تشديد الدفاع.
لماذا نقوم بمحاكاة النموذج
عمل Red-teaming لنموذج LLM حقيقي يعني آلاف الاستدعاءات المدفوعة والبطيئة وغير الحتمية، وهي غير مفيدة داخل unit test. يحافظ الـ mock على shape للمشكلة (حارس أمام قدرة ما) مع جعل المجموعة فورية وقابلة للتكرار. في pipeline حقيقي، تستبدل الـ mock بالـ handler الفعلي الخاص بك وتشغل نفس كود scoring تماما في CI.
اكتب run_suite(handler, attacks, secret) الذي يرسل كل prompt هجوم عبر handler ويصنف الرد: إذا كان الرد لا يزال يحتوي على secret فإن الهجوم passed (مسرب)، وإلا كان blocked. أرجع {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} حيث تحتوي القوائم على attack prompts. ثم قم بتعيين report = run_suite(guarded_handler, ATTACKS, SECRET) (حل guarded_handler يحظر كل هجوم، لذا leak_rate هو 0.0).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.