Programma Les 182 van 250 · LLM's in productie brengen: Kosten, Caching & Guardrails
LLM's in productie brengen: Kosten, Caching & Guardrails

PII Redactie Waarborg

Voordat de tekst van de gebruiker een model, log of analytics tabel bereikt, moet je persoonlijk identificeerbare informatie (PII) verwijderen. Voor een privacy-eerst product is dit geen optionele afwerking, het is de poort die e-mails, telefoonnummers en kaartnummers buiten de plaatsen houdt waar ze nooit mogen terechtkomen. De techniek is patroonmatching met regular expressions, waarbij elke match wordt vervangen door een getypeerde placeholder.

Drie veelvoorkomende patronen brengen je bijna tot het doel:

  • Email: iets als name@host.tld -> vervang met [EMAIL].
  • Phone: een nummer van 10 cijfers, mogelijk gegroepeerd met spaties, strepen, punten of een landcode vooraf -> [PHONE].
  • Card: 16 cijfers in vier groepen van vier, gescheiden door optionele spaties of streepjes -> [CARD].

Maskeer eerst het langste, meest specifieke patroon (de kaart met 16 cijfers) zodat een hebzuchtiger telefoonpatroon er niet in kan binnendringen. Noteer tijdens het vervangen welke types je vond, zodat belfiguren kunnen controleren wat is gewist. Schone tekst komt onveranderd terug met een lege lijst.

import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")

Je zou dit uitvoeren bij elk model. Bijvoorbeeld, voordat je tekst aan een on-device engine geeft, zou je safe, _ = redact(user_text) en safe verzenden, nooit de ruwe string. De model call zelf is illustratief; de redactor is het deel dat je bouwt en beoordeelt. Ken de beperkingen voordat je erop vertrouwt: cijferpatronen produceren false positives (een ordernummer zoals "#2026071234" lijkt op een telefoonnummer) en missen wat ze niet beschrijven (namen, straatadressen, rekeningnummers geschreven met spaties). Regex redactie is een goedkope eerste stap; een echt systeem voegt een entity recogniser toe en, bovenal, stuurt het model alleen de velden die de taak nodig heeft.

Bouw redact(text). Geef een tuple (masked_text, types) terug waar masked_text elke e-mail, telefoon en kaart heeft vervangen door zijn placeholder, en types is een sorted lijst van de unieke entiteittypes die zijn gevonden (vanuit "card", "email", "phone"). Schone tekst wordt onveranderd geretourneerd met [].

Jij bent aan de beurt

Schrijf redact(text) die (masked_text, types) teruggeeft. Vervang elk e-mailadres met [EMAIL], telefoonnummer met [PHONE], en 16-cijferige kaart met [CARD]; types is de gesorteerde lijst van unieke types gevonden onder "card", "email", "phone". Een string met een e-mail en een telefoon geeft beide gemaskeerd en ['email', 'phone'] terug; schone tekst komt onveranderd terug met []; een andere PII mix geeft een andere typeset.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.