Защита от раскрытия PII
Прежде чем текст пользователя попадет в модель, лог или таблицу аналитики, вы должны удалить персональные данные (PII). Для продукта с приоритетом конфиденциальности это не просто косметическое улучшение, это ворота, которые не дают адресам почты, номерам телефонов и номерам карт попасть туда, где им быть не должно. Техника заключается в поиске по шаблону с помощью регулярных выражений, заменяя каждое совпадение типизированным плейсхолдером.
Три общих паттерна помогут вам пройти большую часть пути:
- Email: что-то вроде
name@host.tld-> заменить на[EMAIL]. - Phone: 10-значное число, возможно с пробелами, тире, точками или кодом страны в начале ->
[PHONE]. - Card: 16 цифр в четырех группах по четыре, разделенных необязательными пробелами или дефисами ->
[CARD].
Сначала скройте самый длинный и специфичный паттерн (16-значную карту), чтобы жадный паттерн телефона не съел его. Заменяя данные, записывайте, какие types вы нашли, чтобы звонящие могли проверить, что было очищено. Чистый текст возвращается без изменений с пустым list.
import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")Вы бы запустили это на пути к любой модели. Например, перед тем как передать текст движку на устройстве, вы бы safe, _ = redact(user_text) и отправили safe, никогда не отправляя сырую строку. Сам вызов модели приведен для примера; редактор это та часть, которую вы строите и оцениваете. Знайте его пределы, прежде чем полагаться на него: шаблоны цифр дают ложные срабатывания (номер заказа типа "#2026071234" выглядит как номер телефона) и пропускают то, что они не описывают (имена, адреса улиц, номера счетов с пробелами). Редактирование через Regex это дешевый первый проход; настоящая система добавляет распознаватель сущностей и, прежде всего, отправляет модели только те поля, которые нужны для задачи.
Постройте redact(text). Верните кортеж (masked_text, types), где masked_text заменяет каждый email, телефон и карту на соответствующий плейсхолдер, а types это sorted список уникальных типов сущностей, найденных в ("card", "email", "phone"). Чистый текст возвращается без изменений с [].
Напишите redact(text), возвращающий (masked_text, types). Замените каждый email на [EMAIL], номер телефона на [PHONE], а 16-значную карту на [CARD]; types это отсортированный список уникальных типов среди "card", "email", "phone". Строка с email и номером телефона возвращает оба маскированных значения и ['email', 'phone']; чистый текст возвращается без изменений с []; другой набор PII дает другой набор типов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.