Conteúdo do curso Lição 89 de 156 · IA privada
IA privada

Remova os dados antes que saiam

Por que isso importa Às vezes você realmente precisa de uma IA na nuvem, de um chamado de suporte ou de um arquivo de log compartilhado com um colega. Tarjar significa tirar primeiro os detalhes pessoais, para que o que sai do seu dispositivo seja a parte útil, não a parte privada. Você vai construir um pequeno tarjador que poderia usar de verdade.

A caneta preta

Antes de compartilhar um documento, as pessoas passavam uma caneta preta grossa sobre nomes e números. Tarjar no código é a mesma ideia: encontrar os pedaços pessoais e trocá-los por um marcador como [EMAIL], para que o leitor ainda saiba que algo estava ali sem descobrir o quê.

Tarjamento (redaction): trocar as partes sensíveis de um texto por marcadores antes de o texto ser compartilhado.

Dados pessoais: qualquer coisa que aponte para uma pessoa real, como um nome, um endereço de e-mail, um número de telefone ou um número de conta.

Uma ferramenta nova: expressões regulares

Para encontrar "qualquer coisa que pareça um e-mail", precisamos de um jeito de descrever um formato de texto, não um texto exato. É isso que uma expressão regular (regex, para encurtar) faz. O módulo embutido re do Python cuida delas.

Expressão regular: uma pequena linguagem de padrões para descrever o formato de um texto. \d significa "um dígito", + significa "um ou mais da coisa anterior" e [A-Za-z] significa "uma letra".

Aqui estão as únicas peças de que você precisa hoje:

PeçaSignificaExemplo de correspondência
\dum dígito7
\sum espaço (ou tab, ou quebra de linha)
[abc]qualquer um dos caracteres dentrob
+um ou mais da peça anterior\d+ corresponde a 2026
{6,}seis ou mais da peça anterior\d{6,} corresponde a 1234567
?a peça anterior é opcional\+? corresponde a um sinal de mais ou a nada
\buma fronteira de palavra (início ou fim de uma palavra)\bAnn\b pula "Annual"

Duas funções fazem o trabalho. re.sub(pattern, replacement, text) retorna um texto novo com cada correspondência substituída. E, em vez de uma substituição fixa, você pode passar uma função: o Python a chama para cada correspondência e usa o que ela retornar. Isso deixa você decidir correspondência por correspondência.

import re

EMAIL_RE = re.compile(r"[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}")
print(EMAIL_RE.sub("[EMAIL]", "Write to maya@shopa.example today"))
# Write to [EMAIL] today

def shout(match):
    return match.group(0).upper()   # group(0) is the matched text

print(re.sub(r"\bcat\b", shout, "cat and category"))
# CAT and category

O r"..." na frente do padrão é uma raw string: diz ao Python para deixar as barras invertidas em paz, para que a regex as veja. re.compile transforma um padrão num objeto reutilizável; você também pode passar a string do padrão direto para re.sub.

O difícil: números de telefone

Os números de telefone vêm em muitos formatos: +44 7700 900123, (555) 010-4477, 555.010.9988. Um padrão solto pega todos eles, mas também pega datas como 2026-10-30. O truque são dois passos: corresponder de forma solta e depois contar os dígitos numa função. A maioria dos números de telefone completos tem 9 dígitos ou mais, enquanto uma data como essa tem 8, então nesta lição usamos "9 dígitos ou mais" como regra. Se uma correspondência tiver dígitos de menos, devolva-a sem mudanças. Tarjadores reais precisam de mais cuidado, porque alguns países usam números mais curtos.

Um equívoco comum

"Tarjar deixa um texto anônimo." Remove os identificadores óbvios, mas o contexto ainda pode entregar alguém: "a única enfermeira canhota da ala 3" não nomeia ninguém e mesmo assim aponta para uma pessoa. Tarjar reduz o risco; não o elimina. Tarjar demais (apagar um número de pedido comprido como se fosse um telefone) é o tipo seguro de erro.

Em outras linguagens

JavaScript: a mesma regex funciona, e replace também aceita uma função.

const EMAIL = /[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}/g;
const PHONE = /\+?\(?\d[\d\s().-]{6,}\d/g;
function redact(text) {
  text = text.replace(EMAIL, "[EMAIL]");
  return text.replace(PHONE, m => (m.match(/\d/g).length >= 9 ? "[PHONE]" : m));
}

Go: o pacote regexp tem ReplaceAllStringFunc.

phone := regexp.MustCompile(`\+?\(?\d[\d\s().-]{6,}\d`)
out := phone.ReplaceAllStringFunc(text, func(m string) string {
    n := 0
    for _, c := range m { if c >= '0' && c <= '9' { n++ } }
    if n >= 9 { return "[PHONE]" }
    return m
})

Resumo

  • Tarjar troca detalhes pessoais por marcadores antes que o texto saia do seu dispositivo.
  • As expressões regulares descrevem o formato do texto; re.sub substitui cada correspondência.
  • Passar uma função para re.sub deixa você decidir correspondência por correspondência, por exemplo contando dígitos.
  • Tarjar reduz o risco, mas não deixa o texto anônimo; o contexto ainda pode identificar pessoas.
Sua vez

Escreva uma função redact(text, names=()) que retorne uma nova string em que:

  1. todo endereço de e-mail é substituído por [EMAIL];
  2. todo número de telefone é substituído por [PHONE]. Trate como número de telefone qualquer sequência que comece com um + ou ( opcional, depois um dígito, continue com dígitos, espaços, pontos, hífens ou parênteses, termine com um dígito e contenha pelo menos 9 dígitos. Sequências com menos dígitos (datas como 2026-10-30, horários, preços) ficam como estão;
  3. todo nome em names é substituído por [NAME], ignorando maiúsculas e minúsculas, mas só como palavra inteira (o nome Ann não pode mudar "Annual").
Substitua primeiro os e-mails, depois os telefones, depois os nomes. Todo o resto do texto deve ficar exatamente igual. Rodar redact duas vezes deve dar o mesmo resultado que rodar uma vez. No final, imprima redact("Call Maya on +44 7700 900123 or maya@shopa.example", ["Maya"]).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.