個人情報の伏せ字化のガードレール
ユーザーのテキストがモデル、ログ、分析の表に届く前に、個人を特定できる情報(PII)を取り除くべきです。プライバシーを第一にする製品にとって、これは省ける仕上げではなく、メールアドレス、電話番号、カード番号を決して行ってはならない場所に入れないための関門です。手法は正規表現によるパターンマッチで、一致したものをそれぞれ種類付きのプレースホルダーに置き換えます。
よくある 3 つのパターンで、ほとんどをまかなえます:
- メール:
name@host.tldのようなもの ->[EMAIL]に置き換える。 - 電話:空白、ダッシュ、ピリオドで区切られていたり、先頭に国番号が付いていたりするかもしれない 10 桁の数 ->
[PHONE]。 - カード:省略可能な空白かダッシュで区切られた、4 桁ずつ 4 組の 16 桁 ->
[CARD]。
いちばん長く、いちばん具体的なパターン(16 桁のカード)を最初に伏せれば、もっと貪欲な電話のパターンがそれに食い込むことはありません。置き換えながら、見つけた種類を記録すれば、呼び出す側が何を消したかを監査できます。きれいなテキストは、空のリストと一緒に手を加えられずに戻ってきます。
import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")これは、どんなモデルへの入り口でも実行するでしょう。たとえば、デバイス上のエンジンにテキストを渡す前に safe, _ = redact(user_text) として safe を送り、生の文字列は決して送りません。モデルの呼び出しそのものは説明用で、伏せ字化の関数こそ、あなたが作って採点される部分です。頼る前にその限界を知っておきましょう:数字のパターンは誤検出を生み("#2026071234" のような注文番号は電話番号に見えます)、記述していないもの(名前、住所、空白入りで書かれた口座番号)は見逃します。正規表現による伏せ字化は安い最初の処理で、本物のシステムは固有表現の認識器を加え、何より、課題に必要なフィールドだけをモデルに送ります。
redact(text) を作ってください。タプル (masked_text, types) を返します。masked_text はすべてのメール、電話、カードをそのプレースホルダーに置き換えたもので、types は見つけた異なる種類("card"、"email"、"phone" の中から)の並べ替えたリストです。きれいなテキストは [] と一緒にそのまま戻ります。
(masked_text, types) を返す redact(text) を書いてください。すべてのメールを [EMAIL] に、電話番号を [PHONE] に、16 桁のカードを [CARD] に置き換えます。types は、"card"、"email"、"phone" の中で見つけた異なる種類の並べ替えたリストです。メールと電話を含む文字列は両方が伏せられて ['email', 'phone'] を返し、きれいなテキストは [] と一緒にそのまま戻り、違う PII の組み合わせなら違う種類の組になります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。