Pelindung Redaksi PII
Sebelum teks pengguna sampai ke model, log, atau tabel analitik, kamu harus menghapus informasi identitas pribadi (PII). Untuk produk yang mengutamakan privasi, ini bukan sekadar polesan opsional, ini adalah gerbang yang menjaga email, nomor telepon, dan nomor kartu agar tidak masuk ke tempat yang tidak seharusnya. Tekniknya adalah pencocokan pola dengan regular expressions, mengganti setiap kecocokan dengan placeholder bertipe tertentu.
Tiga pola umum akan membantumu sampai hampir selesai:
- Email: sesuatu seperti
name@host.tld-> ganti dengan[EMAIL]. - Phone: nomor 10 digit, mungkin dikelompokkan dengan spasi, tanda hubung, titik, atau kode negara di depan ->
[PHONE]. - Card: 16 digit dalam empat kelompok berisi empat, dipisahkan oleh spasi atau tanda hubung opsional ->
[CARD].
Tutupi pola terpanjang dan paling spesifik dulu (kartu 16 digit) supaya pola telepon yang lebih rakus tidak mengganggu. Saat kamu mengganti, catat types yang kamu temukan, supaya pemanggil bisa memeriksa apa yang dihapus. Teks bersih akan kembali tanpa perubahan dengan daftar kosong.
import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")Kamu bisa menjalankan ini saat memasukkan data ke model apa pun. Contohnya, sebelum memberikan teks ke engine on-device, kamu harus safe, _ = redact(user_text) dan mengirim safe, jangan kirim string mentah. Pemanggilan model itu hanya ilustrasi; redaktor adalah bagian yang kamu bangun dan nilai. Pahami batasannya sebelum kamu mengandalkannya: pola angka menghasilkan false positives (nomor pesanan seperti "#2026071234" terlihat seperti nomor telepon) dan melewatkan apa yang tidak mereka deskripsikan (nama, alamat jalan, nomor akun yang ditulis dengan spasi). Redaksi Regex adalah langkah awal yang murah; sistem asli menambahkan entity recogniser dan, yang terpenting, hanya mengirimkan field yang dibutuhkan tugas ke model.
Buat redact(text). Kembalikan tuple (masked_text, types) di mana masked_text memiliki setiap email, telepon, dan kartu yang diganti dengan placeholder masing-masing, dan types adalah daftar sorted dari tipe entitas unik yang ditemukan (dari "card", "email", "phone"). Teks bersih dikembalikan tanpa perubahan dengan [].
Tulis redact(text) yang mengembalikan (masked_text, types). Ganti setiap email dengan [EMAIL], nomor telepon dengan [PHONE], dan kartu 16 digit dengan [CARD]; types adalah daftar terurut dari tipe unik yang ditemukan di antara "card", "email", "phone". String dengan email dan telepon mengembalikan keduanya yang dimasker dan ['email', 'phone']; teks bersih kembali tanpa perubahan dengan []; campuran PII yang berbeda menghasilkan set tipe yang berbeda.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.