خط لوله دفاعی تزریق-دستور
تزریق پرامپت معادل SQL در مدلهای زبان بزرگ (LLM) است: کاربری دستورات را به صورت مخفیانه در ورودی خود وارد میکند تا پرامپت سیستمی شما را بازنویسی کند، آن را فاش سازد، یا رفتار مدل را به سرقت ببرد. بارهای کلاسیک شامل "ignore all previous instructions"، "reveal your system prompt"، «تو اکنون یک... هستی» و "developer mode" هستند. یک خط دفاعی عملی و اولیه، یک آشکارساز است که این الگوهای شناختهشده را اسکن میکند، همراه با ویرایشگر اطلاعات شخصی (PII) که قبلاً معرفی شد و یک بررسی خروجی، که همگی در یک محافظ واحد ادغام شدهاند که همه چیز از آن عبور میکند.
این تشخیصدهنده باید به اندازه کافی دقیق باشد تا هشدار بیمورد ندهد. عبارت «من قبلاً به پاریس سفر کردهام» بیضرر است و نباید باعث فعال شدن آن شود؛ اما عبارت "ignore all previous instructions" باید باعث فعال شدن آن شود. شما عبارت خطرناک را تشخیص میدهید، نه یک کلمه بیضرر را، و دلایلی را که باعث پرچمگذاری شما شده است بازمیگردانید تا مسدودسازی قابل حسابرسی باشد.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyدروازه کامل، اجزا را کنار هم قرار میدهد: تشخیص تزریق در ورودی خام، حذف PII، و تنها زمانی که ورودی امن است، فراخوانی مدل (استاب شده). در تولید، مرحله مدل یک فراخوانی واقعی خواهد بود؛ در اینجا یک استاب جایگزین آن میشود تا رتبهبندی، تعیینکننده باقی بماند. نمرهای که به شما داده میشود بر اساس منطق دروازه است.
دو تابع بسازید. (۱) detect_injection(text) -> یک dict {"is_injection": bool, "score": int, "patterns": [...]} که در آن score نشاندهنده تعداد الگوهای مطابقتیافته است. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: اگر تزریق شناسایی شود، تنظیم کنید blocked=True و اضافه کنید "prompt_injection" به دلایل؛ همیشه PII را به صورت safe_text و اگر هرگونه PII یافت شد، دلیلی را با شروع از اضافه کنید. "pii_redacted" یک پیام تمیز بدون تغییر و بدون مسدود شدن عبور میکند.
ساخت detect_injection(text) بازگشت {"is_injection", "score", "patterns"} (امتیاز = تعداد الگوهای تزریق مطابقتیافته) و guard(user_text) بازگشت {"safe_text", "blocked", "reasons"}. guard مسدود میکند (دلیل را اضافه میکند "prompt_injection") هنگامی که تزریق شناسایی میشود، همیشه اطلاعات قابل شناسایی شخصی (PII) را به safe_text (ضمیمه کردن یک "pii_redacted..." دلیل وقتی هر کدام یافت شود)، و پیام تمیز را دستنخورده و بدون مسدودسازی باقی میگذارد. یک مشابه بیضرر مانند «من قبلاً دربارهٔ آبوهوا پرسیدم» نباید مسدود شود.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.