Программа курса Урок 182 из 250 · Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры
Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры

Защита от раскрытия PII

Прежде чем текст пользователя попадет в модель, лог или таблицу аналитики, вы должны удалить персональные данные (PII). Для продукта с приоритетом конфиденциальности это не просто косметическое улучшение, это ворота, которые не дают адресам почты, номерам телефонов и номерам карт попасть туда, где им быть не должно. Техника заключается в поиске по шаблону с помощью регулярных выражений, заменяя каждое совпадение типизированным плейсхолдером.

Три общих паттерна помогут вам пройти большую часть пути:

  • Email: что-то вроде name@host.tld -> заменить на [EMAIL].
  • Phone: 10-значное число, возможно с пробелами, тире, точками или кодом страны в начале -> [PHONE].
  • Card: 16 цифр в четырех группах по четыре, разделенных необязательными пробелами или дефисами -> [CARD].

Сначала скройте самый длинный и специфичный паттерн (16-значную карту), чтобы жадный паттерн телефона не съел его. Заменяя данные, записывайте, какие types вы нашли, чтобы звонящие могли проверить, что было очищено. Чистый текст возвращается без изменений с пустым list.

import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")

Вы бы запустили это на пути к любой модели. Например, перед тем как передать текст движку на устройстве, вы бы safe, _ = redact(user_text) и отправили safe, никогда не отправляя сырую строку. Сам вызов модели приведен для примера; редактор это та часть, которую вы строите и оцениваете. Знайте его пределы, прежде чем полагаться на него: шаблоны цифр дают ложные срабатывания (номер заказа типа "#2026071234" выглядит как номер телефона) и пропускают то, что они не описывают (имена, адреса улиц, номера счетов с пробелами). Редактирование через Regex это дешевый первый проход; настоящая система добавляет распознаватель сущностей и, прежде всего, отправляет модели только те поля, которые нужны для задачи.

Постройте redact(text). Верните кортеж (masked_text, types), где masked_text заменяет каждый email, телефон и карту на соответствующий плейсхолдер, а types это sorted список уникальных типов сущностей, найденных в ("card", "email", "phone"). Чистый текст возвращается без изменений с [].

Твоя очередь

Напишите redact(text), возвращающий (masked_text, types). Замените каждый email на [EMAIL], номер телефона на [PHONE], а 16-значную карту на [CARD]; types это отсортированный список уникальных типов среди "card", "email", "phone". Строка с email и номером телефона возвращает оба маскированных значения и ['email', 'phone']; чистый текст возвращается без изменений с []; другой набор PII дает другой набор типов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.