سرفصل‌ها درس 182 از 250 · عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها
عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها

محدودیت حذف داده‌های شخصی قابل شناسایی

قبل از اینکه متن کاربر به مدل، لاگ یا جدول تحلیلی برسد، باید آن را حذف کنید اطلاعات قابل شناسایی شخص (PII). برای محصولی که حریم خصوصی را در اولویت قرار می‌دهد، این صرفاً یک تزئین اختیاری نیست؛ بلکه دروازه‌ای است که ایمیل‌ها، شماره‌های تلفن و شماره‌های کارت را از جاهایی که هرگز نباید برسند، دور نگه می‌دارد. این تکنیک تطبیق الگو با عبارت‌های منظم است که هر تطابق را با یک نگاشت‌گر از پیش تعریف‌شده جایگزین می‌کند.

سه الگوی رایج شما را تا حد زیادی پیش می‌برند:

  • ایمیلچیزی شبیه به name@host.tld -> با جایگزین کنید [EMAIL].
  • تلفن: یک عدد ۱۰ رقمی، که ممکن است با فاصله‌ها، خط‌های تیره، نقطه‌ها یا یک پیش‌وند کد کشور گروه‌بندی شده باشد -> [PHONE].
  • کارت۱۶ رقم در چهار گروه چهار رقمی، جدا شده با فاصله‌های اختیاری یا خط تیره -> [CARD].

ابتدا طولانی‌ترین و خاص‌ترین الگو (کارت ۱۶ رقمی) را ماسک کنید تا الگوی حریص‌تر تلفن نتواند به آن نفوذ کند. هنگام جایگزینی، ثبت کنید که کدام انواع شما پیدا کردید، تا تماس‌گیرندگان بتوانند آنچه حذف شده را بازبینی کنند. متن تمیز بدون تغییر و با فهرستی خالی بازمی‌گردد.

import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")

شما این را در مسیر ورودی هر مدل اجرا می‌کردید. برای مثال، قبل از ارسال متن به موتور روی دستگاه، شما safe, _ = redact(user_text) و ارسال safe، هرگز رشتهٔ خام را نه. خودِ فراخوانی مدل صرفاً جنبهٔ نمایشی دارد؛ ویرایشگر بخشی است که شما می‌سازید و نمره‌دهی می‌کنید. قبل از اتکا به آن، محدودیت‌هایش را بشناسید: الگوهای عددی نتایج مثبت کاذب تولید می‌کنند (یک شماره سفارش مانند «#2026071234» شبیه شماره تلفن به نظر می‌رسد) و آنچه را که توصیف نمی‌کنند از دست می‌دهند (نام‌ها، آدرس‌های خیابان، شماره‌های حساب نوشته شده با فاصله). رداکشن با ریجکس یک بررسی اولیه ارزان‌قیمت است؛ یک سیستم واقعی یک شناساگر موجودیت اضافه می‌کند و مهم‌تر از همه، تنها فیلدهایی را که برای انجام کار لازم است به مدل ارسال می‌کند.

ساخت redact(text). بازگشت یک تپل (masked_text, types) کجا masked_text هر ایمیل، تلفن و کارت با جایگزین خود جایگزین شده است، و types است یک ترتیب داده شد فهرست انواع نهادهای متمایز یافت‌شده (از "card", "email", "phone"متن تمیز بدون تغییر بازمی‌گردد با [].

نوبت شما

نوشتن redact(text) بازگشت (masked_text, types). هر ایمیل را با [EMAIL]، شماره تلفن با [PHONE]، و شماره کارت ۱۶ رقمی با [CARD]; types فهرست مرتب‌شده انواع متمایز یافت‌شده در میان "card", "email", "phone". یک رشته شامل ایمیل و شماره تلفن، هم با حالت ماسک‌شده و هم با حالت ['email', 'phone']؛ متن تمیز بدون تغییر بازمی‌گردد با []؛ ترکیب متفاوتی از اطلاعات شخصی قابل شناسایی (PII) مجموعهٔ نوع متفاوتی را به دست می‌دهد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.