Müfredat 250 dersinden 182. · LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri
LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri

PII Sansür Koruması

Kullanıcı metni bir modele, günlüğe ya da analitik tablosuna ulaşmadan önce kişisel olarak tanımlayıcı bilgileri (PII) ayıklamalısın. Gizlilik öncelikli bir ürün için bu isteğe bağlı bir cila değil, e-postaları, telefon numaralarını ve kart numaralarını asla düşmemeleri gereken yerlerden uzak tutan kapıdır. Teknik düzenli ifadelerle örüntü eşleştirmedir; her eşleşme türü belirtilmiş bir yer tutucuyla değiştirilir.

Üç yaygın örüntü seni yolun çoğuna götürür:

  • E-posta: name@host.tld gibi bir şey -> [EMAIL] ile değiştir.
  • Telefon: boşluk, tire, nokta ya da başta bir ülke koduyla gruplanmış olabilecek 10 haneli bir sayı -> [PHONE].
  • Kart: isteğe bağlı boşluk ya da tirelerle ayrılmış dörderli dört grupta 16 hane -> [CARD].

En uzun, en özgül örüntüyü (16 haneli kart) önce maskele, böylece daha açgözlü bir telefon örüntüsü onu kemiremez. Değiştirirken hangi türleri bulduğunu kaydet, böylece çağıranlar neyin temizlendiğini denetleyebilir. Temiz metin boş bir listeyle dokunulmadan geri gelir.

import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")

Bunu herhangi bir modele giden yolda çalıştırırdın. Örneğin metni cihaz üzerindeki bir motora vermeden önce safe, _ = redact(user_text) yapar ve ham dizgiyi asla değil, safe'i gönderirdin. Model çağrısının kendisi açıklama amaçlı; maskeleyici kurduğun ve notlanan kısım. Ona güvenmeden önce sınırlarını bil: rakam örüntüleri yanlış pozitifler üretir ("#2026071234" gibi bir sipariş numarası bir telefon numarasına benzer) ve tarif etmedikleri şeyleri kaçırır (adlar, sokak adresleri, boşluklarla yazılmış hesap numaraları). Regex maskeleme ucuz bir ilk geçiştir; gerçek bir sistem bir varlık tanıyıcı ekler ve, her şeyden önce, modele yalnızca görevin ihtiyaç duyduğu alanları gönderir.

redact(text)'i kur. masked_text'te her e-posta, telefon ve kartın yer tutucusuyla değiştirildiği, ve types'ın bulunan farklı varlık türlerinin ("card", "email", "phone" arasından) sıralı bir listesi olduğu bir (masked_text, types) demeti döndür. Temiz metin [] ile değişmeden döner.

Senin sıran

(masked_text, types) döndüren redact(text) yaz. Her e-postayı [EMAIL], telefon numarasını [PHONE] ve 16 haneli kartı [CARD] ile değiştir; types, "card", "email" ve "phone" arasında bulunan farklı türlerin sıralanmış listesidir. Bir e-posta ve telefon içeren bir string hem maskelenmiş halini hem de ['email', 'phone'] döndürür; temiz metin [] ile değişmeden geri döner; farklı bir PII karışımı farklı bir tür seti üretir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.