シラバス レッスン 250 中 182 · LLM を本番に載せる:コスト、キャッシュ、ガードレール
LLM を本番に載せる:コスト、キャッシュ、ガードレール

個人情報の伏せ字化のガードレール

ユーザーのテキストがモデル、ログ、分析の表に届く前に、個人を特定できる情報(PII)を取り除くべきです。プライバシーを第一にする製品にとって、これは省ける仕上げではなく、メールアドレス、電話番号、カード番号を決して行ってはならない場所に入れないための関門です。手法は正規表現によるパターンマッチで、一致したものをそれぞれ種類付きのプレースホルダーに置き換えます。

よくある 3 つのパターンで、ほとんどをまかなえます:

  • メール:name@host.tld のようなもの -> [EMAIL] に置き換える。
  • 電話:空白、ダッシュ、ピリオドで区切られていたり、先頭に国番号が付いていたりするかもしれない 10 桁の数 -> [PHONE]。
  • カード:省略可能な空白かダッシュで区切られた、4 桁ずつ 4 組の 16 桁 -> [CARD]。

いちばん長く、いちばん具体的なパターン(16 桁のカード)を最初に伏せれば、もっと貪欲な電話のパターンがそれに食い込むことはありません。置き換えながら、見つけた種類を記録すれば、呼び出す側が何を消したかを監査できます。きれいなテキストは、空のリストと一緒に手を加えられずに戻ってきます。

import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")

これは、どんなモデルへの入り口でも実行するでしょう。たとえば、デバイス上のエンジンにテキストを渡す前に safe, _ = redact(user_text) として safe を送り、生の文字列は決して送りません。モデルの呼び出しそのものは説明用で、伏せ字化の関数こそ、あなたが作って採点される部分です。頼る前にその限界を知っておきましょう:数字のパターンは誤検出を生み("#2026071234" のような注文番号は電話番号に見えます)、記述していないもの(名前、住所、空白入りで書かれた口座番号)は見逃します。正規表現による伏せ字化は安い最初の処理で、本物のシステムは固有表現の認識器を加え、何より、課題に必要なフィールドだけをモデルに送ります。

redact(text) を作ってください。タプル (masked_text, types) を返します。masked_text はすべてのメール、電話、カードをそのプレースホルダーに置き換えたもので、types は見つけた異なる種類("card"、"email"、"phone" の中から)の並べ替えたリストです。きれいなテキストは [] と一緒にそのまま戻ります。

あなたの番

(masked_text, types) を返す redact(text) を書いてください。すべてのメールを [EMAIL] に、電話番号を [PHONE] に、16 桁のカードを [CARD] に置き換えます。types は、"card"、"email"、"phone" の中で見つけた異なる種類の並べ替えたリストです。メールと電話を含む文字列は両方が伏せられて ['email', 'phone'] を返し、きれいなテキストは [] と一緒にそのまま戻り、違う PII の組み合わせなら違う種類の組になります。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。