Kurrikulum Leson 182 van 250 · Produksie van LLMs: Kostes, Keshing en Bewaakhekings
Produksie van LLMs: Kostes, Keshing en Bewaakhekings

PII-redaksie-veiligheidsreël

Voordat gebruikerslêer by 'n model, log of analitiese tabel aankom, moet jy persoonlik identifiseerbare inligting (PII) verwyder. Vir 'n produk wat privaatheid eerste stel, is dit nie opsionele polissing nie. Dit is die hek wat e-posse, telefoonnommers en kaartnommers uit plekke hou waar hulle nooit moet beland nie. Die tegniek is patroonvasvinding met regular expressions, waar jy elke ooreenstemming met 'n getipeerde plekhouer vervang.

Drie algemene patrone bring jou amper daar:

  • Email: iets soos name@host.tld -> vervang met [EMAIL].
  • Phone: 'n 10-syfer nommer, moontlik gegroepeer met spasies, strepe, punte, of 'n landekode aan die begin -> [PHONE].
  • Card: 16 syfers in vier groepe van vier, geskei deur opsionele spasies of strepe -> [CARD].

Maskeer die langste, meespesifieke patroon eerste (die 16-digit kaart) sodat 'n gieriger foonpatroon nie dit kan inslik nie. Terwyl jy vervang, rekord watter types jy gevind het, sodat oproepers kan oudit wat geskrap is. Skoon teks kom onveranderd terug met 'n leë lys.

import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")

Jy sal dit op pad na enige model hardloop. Byvoorbeeld, voordat jy teks aan 'n on-device engine gee, sal jy safe, _ = redact(user_text) en safe stuur, nooit die rou string nie. Die modeloproep self is illustratief; die redactor is die deel wat jy bou en gradeer. Ken sy beperkings voordat jy daarop staat: syferpatrone veroorsaak vals positiewe ( 'n bestelnommer soos "#2026071234" lyk soos 'n telefoonnommer) en mis wat hulle nie beskryf nie (name, straatadresse, rekeningnommers met spasies). Regex-redaksie is 'n goedkoop eerste stap; 'n regte stelsel voeg 'n entity recogniser by en, bo alles, stuur dit net die velde wat die taak nodig het aan die model.

Bou redact(text). Gee 'n tuple (masked_text, types) terug waar masked_text elke e-pos, telefoon en kaart deur sy plekhouer vervang het, en types is 'n sorted lys van die unieke entiteittipes wat gevind is (van "card", "email", "phone"). Skoon teks word onveranderd met [].

teruggegee.
Jou beurt

Skryf redact(text) wat (masked_text, types) teruggee. Vervang elke e-pos met [EMAIL], telefoonnommer met [PHONE], en 16-digit kaart met [CARD]; types is die gesorteerde lys van unieke tipes wat tussen "card", "email", "phone" gevind word. 'n String met 'n e-pos en 'n telefoonnommer gee beide gemaskeer en ['email', 'phone'] terug; skoon teks kom onveranderd terug met []; 'n ander PII-mengsel lewer 'n ander tipe-stel op.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.