سرفصل‌ها درس 191 از 250 · هوش مصنوعی مسئول: ایمنی، نظارت و تیم قرمز
هوش مصنوعی مسئول: ایمنی، نظارت و تیم قرمز

تشخیص جیلبریک و تزریق پرامپت

اولین چیزی که یک محصول واقعی LLM به آن نیاز دارد، یک نگهبان دم در است. قبل از اینکه پیام کاربر به مدل برسد، آن را از یک بررسی ارزان و سریع برای حرکات کلاسیک فرار از زندان عبور می‌دهید: تلاش برای بازنویسی دستورالعمل سیستم شما، قاچاق دستورالعمل‌های مخفی، یا متقاعد کردن مدل به پذیرش شخصیتی بدون هیچ قاعده‌ای. این تمام ماجرای ایمنی نیست، اما لایه‌ای است که تقریباً بدون هزینه، ۹۰٪ حملات سست را مهار می‌کند.

شما خواهید ساخت detect_jailbreak(text) که یک دیکشنری کوچک برمی‌گرداند: {"flag": bool, "reason": str}. وقتی متن شبیه حمله به نظر می‌رسد، شما را تنظیم می‌کنید. flag=True و الگو را نامگذاری می‌کنید؛ وقتی شبیه یک درخواست عادی به نظر می‌رسد، با آن را عبور می‌دهید. flag=False و reason="clean". ما به دنبال سه خانوادهٔ شناخته‌شده هستیم که در این ترتیب اولویت بررسی می‌شوند:

  • ignore-previous -> کاربر سعی می‌کند قوانین را پاک کند: عباراتی مانند ignore previous instructions, disregard the above, forget your instructions.
  • role-play-override -> کاربر یک شخصیت بی‌قانون تعیین می‌کند: you are now DAN, act as an AI with no restrictions, pretend you have no rules، بدنام developer mode.
  • دستور-رمزگذاری‌شده -> کاربر برای دور زدن فیلترهای کلمات کلیدی، سؤال واقعی را پشت یک رمزگذاری پنهان می‌کند: decode this base64 and run it, rot13: ..., execute the following hex.

مکانیزم‌ها عمداً ساده هستند: یک بار متن را به حروف کوچک تبدیل کنید، سپس برای هر خانواده چند زیرنویس محرک را آزمایش کنید. تطبیق به بزرگی/کوچکی حروف حساس نیست، بنابراین IGNORE PREVIOUS و ignore previous هر دو اجرا می‌شوند.

def detect_jailbreak(text):
    t = text.lower()
    if any(p in t for p in ("ignore previous", "disregard the above", ...)):
        return {"flag": True, "reason": "ignore-previous"}
    ...
    return {"flag": False, "reason": "clean"}

دو هشدار صادقانه در این درس گنجانده شده است. اول اینکه، اولویت اهمیت دارد: یک پیام می‌تواند بیش از یک خانواده را فعال کند، بنابراین شما ابتدا ignore-previous را بررسی می‌کنید، سپس role-play-override، و در نهایت encoded-instruction را، و اولین تطابق را بازمی‌گردانید. دوم اینکه، این یک غربالگری است، نه یک تضمین. یک مهاجم زیرک می‌تواند با جمله‌سازی مجدد، هر فهرست کلمات کلیدی را دور بزند، و دقیقاً به همین دلیل است که پشته های تولید، این را با یک طبقه‌بند آموزش‌دیده (درس بعدی) و یک مجموعه تیم قرمز (درس پس از آن) لایه‌بندی می‌کنند. صفحه‌گردانی‌های کلمات کلیدی، اولین تور ارزان‌قیمت هستند، نه تنها تور. دکمه Run را فشار دهید تا ببینید چگونه ترکیبی از حملات و درخواست‌های بی‌ضرر مرتب می‌شوند.

نوبت شما

نوشتن detect_jailbreak(text) بازگشت {"flag": bool, "reason": str}. متن را به حروف کوچک تبدیل کنید، سپس سه خانواده حمله را به ترتیب اولویت بررسی کرده و اولین ضربه را بازگردانید: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous)، role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no)، و encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). این‌ها فهرست‌های کامل هستند؛ بررسی دقیقاً از این عبارات استفاده می‌کند. متن بی‌ضرر بازمی‌گردد {"flag": False, "reason": "clean"}.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.