مجموعه تیم قرمز خصمانه
شما یک دربان ورودی و یک طبقهبندیکنندهٔ لحن دارید. چگونه مطمئن میشوید که آنها واقعاً کار میکنند؟ شما به اپلیکیشن خودتان حمله میکنید. یک مجموعهٔ ردتیم مجموعهای ثابت از ورودیهای مخرب است که در هر تغییر به دستیار محافظتشدهٔ خود شلیک میکنید، تا افت در دفاعهایتان بهصورت یک عدد نمایش داده شود نه یک تیتر خبری. این معادل ایمنی یک مجموعهٔ تست است.
تمام این فرآیند آفلاین و تعیینکنندهاست. "model" یک ماکت کوچک است تا تست سریع باشد و هرگز به شبکه مراجعه نکند: a guarded_handler(prompt) که ابتدا دفاع شما را اجرا میکند، و تنها در صورتی که ورودی مجاز باشد، پاسخ حساس (تخیلی) را برمیگرداند.
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'یک حمله موفق شد (یک نشت) وقتی پاسخ هاندر هنوز حاوی رمز است. وقتی پاسخ، رد است، مسدود شده است. شما مجموعهای از ورودیهای حمله برچسبگذاریشده را از طریق هاندر اجرا کرده و نتایج را شمارش خواهید کرد:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}یک نکته در مورد نامگذاری، چون باعث سردرگمی میشود: برچسبها بر اساس کنوانسیون تیم قرمز (red-team) و از دیدگاه مهاجم نامگذاری شدهاند. حملهای که رمز را فاش کرد «قبول» (Passed) شد (زیرا از دفاع شما عبور کرد)؛ و حملهای که رد شد «مسدود» (Blocked) شد. گزارش را از دید مدافع بخوانید، که این همان چیزی است که در محیط تولید برایتان اهمیت دارد: blocked لیست حملاتی است که دفاع شما متوقف کرد، passed فهرست حملاتی است که آن را شکست دادند (همانهایی که نشت کردند)، و leak_rate است len(passed) / number_of_attacks. یک دفاع بینقص دارای یک passed فهرست و leak_rate از 0.0. دکمه Run را فشار دهید تا ببینید کدام حملات از یک دفاع عمداً نشتپذیر عبور میکنند، سپس با سفتتر شدن دفاع، شاهد کاهش نرخ نشت به صفر باشید.
چرا مدل را شبیهسازی کنیم
ردتیمینگ یک LLM واقعی به معنای هزاران فراخوانی پولی، کند و غیرقطعی است که در یک تست واحد بیفایده هستند. ماک شکل کلی مسئله (یک نگهبان در مقابل یک قابلیت) را حفظ میکند و در عین حال باعث میشود سوئیت تست فوری و قابل تکرار باشد. در یک خط لوله واقعی، ماک را با هاندر واقعی خود جایگزین میکنید و دقیقاً همان کد امتیازدهی را در CI اجرا میکنید.
نوشتن run_suite(handler, attacks, secret) که هر دستور حمله را از طریق handler و پاسخ را طبقهبندی میکند: اگر پاسخ هنوز حاوی secret حمله عبور داده شد (نشت کرد)، در غیر این صورت مسدود شد. بازگردانید {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} که در آن لیستها حاوی فراخوانیهای حمله هستند. سپس تنظیم کنید report = run_suite(guarded_handler, ATTACKS, SECRET) (راه حل guarded_handler هر حمله را مسدود میکند، بنابراین leak_rate است 0.0).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.