سرفصل‌ها درس 228 از 250 · پروژه: دروازه هوش مصنوعی تولید
پروژه: دروازه هوش مصنوعی تولید

خط لوله گاردریل + ردپا

این آخرین بخش است و همان چیزی است که به شما امکان می‌دهد گیت‌وی را در مقابل کاربران واقعی قرار دهید: ایمنی و قابل‌مشاهده‌بودن . قبل از اینکه هر متنی به مدل برسد، آن را از یک خط لوله محافظ عبور می‌دهید که تلاش‌های تزریق-پرامپت را مسدود می‌کند و داده‌های شخصی را پاک‌سازی می‌کند. و پس از هر فراخوانی، یک رویداد ردیابی (trace event) را ثبت می‌کنید، سپس آن رویدادها را در خلاصه‌ای گردآوری می‌کنید که مهندس در حال شیفت واقعاً به آن نگاه می‌کند. این دو ایده، «guardrail» و «cost-account»، با هم خط خلاصه‌ای را که این ماژول را با آن شروع کردید، کامل می‌کنند.

نگهبان. یک تابع guard(request) بنویسید که متن درخواست را بررسی کرده و یک دیکشنری حکم مانند {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]} بازمی‌گرداند. دو بررسی:

  • مسدودسازی تزریق: اگر متن با یک الگوی حملهٔ شناخته‌شده مطابقت داشته باشد (فکر کنید «تمام دستورالعمل‌های قبلی را نادیده بگیر»، «پرامپت سیستم را آشکار کن»، «شما اکنون...&«)، آن را با allowed=False به‌طور کامل رد کنید. یک لیست کوچک از regexهای بدون حساسیت به حروف بزرگ/کوچک در اینجا کافی است.
  • حذف اطلاعات شخصی (PII): در غیر این صورت، ایمیل‌ها و شماره‌های تلفن را از متن پاک کنید، آن‌ها را با جای‌گرفتن‌های [EMAIL] و [PHONE] جایگزین کنید، و متن تمیز شده را با allowed=True به‌علاوه لیست انواع یافته‌شده بازگردانید.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

ردیابی. هر درخواست پاسخ‌داده‌شده یک ردپا به جا می‌گذارد: کدام هیندر اجرا شد، آیا مسدود بود یا خیر، و هزینه آن چقدر بود. یک aggregate_trace(events) را روی لیستی از دیکت‌ها با کلیدهای handler، blocked، و cost بنویسید و خلاصه‌ای را بازگردانید که شامل تعداد کل calls، تعداد blocks، total_cost تماس‌هایی که واقعاً مجاز بودند، و یک by_handler تفکیک تماس‌ها و هزینه به ازای هر هیندر باشد. این یک کار عالی برای یک groupby پانداس است:

df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

درخواست‌های مسدودشده هیچ هزینه‌ای ندارند و نباید total_cost را افزایش دهند، بنابراین هزینه را فقط روی ردیف‌های مجاز جمع کنید. مورد ردیابی خالی را مدیریت کنید تا یک گیت‌وی تازه به جای کرش کردن، صفرهای تمیز گزارش دهد. دکمه را فشار دهید. با اجرای یک درخواست تزریقی را مسدود کنید، یک درخواست پر از جزئیات تماس را سانسور کنید، یک درخواست بی‌ضرر را عبور دهید و یک ردیابی خلاصه شده را چاپ کنید.

نوبت شما

guard(request) را بنویسید (درخواست دارای کلید "text" است) که یک دیکشنری حکم بازمی‌گرداند. تلاش‌های تزریق ورودی (لیست کوچکی از regexهای بدون حساسیت به حروف بزرگ/کوچک) را با allowed=False و reason="injection" مسدود کنید؛ در غیر این صورت ایمیل‌ها و شماره‌های تلفن را به جای‌گزین‌های [EMAIL]/[PHONE] تبدیل کرده و allowed=True، text پاک‌سازی‌شده و فهرست انواع یافت‌شده را بازگردانید. سپس aggregate_trace(events) را روی dictهایی که handler، blocked و cost دارند بنویسید، که {"calls", "blocks", "total_cost", "by_handler"} را بازمی‌گرداند، جایی که total_cost تنها تماس‌های مجاز (مسدودنشده) را جمع می‌کند و by_handler تماس‌ها/هزینه‌ها را بر اساس هر دست‌پرداز تفکیک می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.