个人信息遮盖防护
在用户文本到达模型、日志或分析表之前,你应该去掉其中的个人身份信息(PII)。对于一个以隐私为先的产品,这不是可有可无的润色,而是让邮箱、电话号码和卡号远离它们绝不能去的地方的那道关卡。技术手段是用正则表达式做模式匹配,并把每个匹配替换成一个带类型的占位符。
三种常见的模式就能帮你完成大部分工作:
- 邮箱:类似
name@host.tld的东西 -> 替换成[EMAIL]。 - 电话:一个 10 位数字,可能用空格、短横线、点分组,或者带一个开头的国家代码 ->
[PHONE]。 - 卡号:16 位数字,分成四组,每组四位,中间可以有空格或短横线 ->
[CARD]。
先遮盖最长、最具体的模式(16 位的卡号),这样更贪婪的电话模式就无法啃进它里面。在替换的同时,记录你找到了哪些类型,这样调用者就能审计清除了什么。干净的文本原样返回,带一个空列表。
import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")你会在进入任何模型的路上运行它。例如,在把文本交给一个设备端引擎之前,你会执行 safe, _ = redact(user_text) 并发送 safe,永远不发送原始字符串。模型调用本身只是示意;遮盖器才是你构建和被评分的部分。在依赖它之前先了解它的局限:数字模式会产生误报(像 "#2026071234" 这样的订单号看起来像电话号码),而且会漏掉它们没有描述的东西(姓名、街道地址、用空格写的账号)。正则遮盖只是便宜的第一遍;一个真正的系统会加上一个实体识别器,而最重要的是,只把任务需要的字段发给模型。
构建 redact(text)。返回一个元组 (masked_text, types),其中 masked_text 把每个邮箱、电话和卡号都替换成了它的占位符,types 是找到的不同实体类型的已排序列表(取自 "card"、"email"、"phone")。干净的文本原样返回,带上 []。
写 redact(text),返回 (masked_text, types)。把每个邮箱替换成 [EMAIL],每个电话号码替换成 [PHONE],每个 16 位的卡号替换成 [CARD];types 是在 "card"、"email"、"phone" 中找到的不同类型的已排序列表。一个带有邮箱和电话的字符串,返回两者都被遮盖的文本和 ['email', 'phone'];干净的文本原样返回,带上 [];不同的个人信息组合会产生不同的类型集合。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。