Conteúdo do curso Lição 131 de 156 · Rastreando a pessoa, não o dispositivo
Rastreando a pessoa, não o dispositivo

Grafos de identidade

Por que isso importa Um cartão de fidelidade sabe o seu e-mail. Um app de compras sabe o seu telefone. Uma transportadora sabe o seu endereço. Nenhum deles sozinho é um retrato completo, mas um corretor de dados que compra os três consegue juntá-los num único registro sobre você. Construir uma versão minúscula você mesmo mostra exatamente qual detalhe compartilhado faz a ligação, e portanto qual detalhe parar de compartilhar.

Uma teia de barbante

Imagine um quadro de avisos com fichas, uma por registro. Sempre que duas fichas compartilham um endereço de e-mail, um número de telefone, um ID de dispositivo ou um endereço residencial, você amarra um pedaço de barbante entre elas. Quando termina, cada emaranhado de fichas ligadas por barbante, por mais longa que seja a corrente, é uma pessoa.

Corretor de dados (data broker): uma empresa que coleta, compra e vende informações sobre pessoas, normalmente pessoas que nunca ouviram falar dela.

Grafo de identidade: o mapa de um corretor que liga muitos registros (e-mails, telefones, dispositivos, endereços) a uma pessoa. Em matemática, um grafo é simplesmente um conjunto de pontos (aqui, registros) ligados por linhas (detalhes compartilhados).

A corrente é a parte esperta. A ficha A compartilha um e-mail com a ficha B. A ficha B compartilha um telefone com a ficha C. A e C não têm nada em comum, mas acabam no mesmo emaranhado. É assim que o cadastro numa newsletter pode ser ligado a um jogo no seu celular sem que um jamais veja os dados do outro.

Os registros de prática

broker_records() retorna registros inventados de várias fontes:

{"id": "r014", "source": "survey", "name": "Sam Smith",
 "email": "  SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
 "device": None, "address": None}

Qualquer detalhe pode faltar (None). Os e-mails chegam com espaços e maiúsculas estranhos, então precisam ser normalizados primeiro: aparados com .strip() e colocados em minúsculas. Os números de telefone devem manter só os dígitos, para que "+44 7700 910283" e "447700910283" batam. ch.isdigit() diz se um caractere é um dígito.

Seguindo o barbante

Monte em três passos:

  1. Índice: um dict de cada par (field, value) para os ids de registro que o têm. Dois ids sob a mesma chave compartilham aquele detalhe.
  2. Vizinhos: para cada id de registro, o conjunto de ids com que ele compartilha qualquer coisa.
  3. Caminhada: comece num registro que ninguém visitou, mantenha uma lista to_visit e, repetidamente, tire um id dela, marque-o como visto e adicione os vizinhos dele. Tudo o que você alcançar é um grupo.
to_visit = ["r001"]
while to_visit:              # keep going while the list is not empty
    current = to_visit.pop() # take the last id off the list
    ...
Em outras linguagens

Corretores e analistas costumam usar uma estrutura chamada union-find em vez da caminhada. Em JavaScript:

const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)

E o mesmo em Go:

func find(parent map[string]string, x string) string {
    for parent[x] != x {
        x = parent[x]
    }
    return x
}

Um erro tentador

O script no final também liga pelo name. Veja o número de pessoas cair: duas pessoas diferentes chamadas "Sam Smith" são juntadas numa só. Os corretores reais também cometem esse tipo de erro, e esse é um dos motivos pelos quais os arquivos deles sobre as pessoas muitas vezes estão errados. Um registro errado ainda pode ser vendido e usado.

A defesa

As ligações acontecem pelos detalhes que você repete. Use um apelido de e-mail diferente para cada loja ou newsletter (muitos serviços de e-mail oferecem isso), dê um número de telefone só quando for realmente necessário, e evite botões "entrar com" que entregam uma conta a muitos sites. Você não consegue impedir um corretor de puxar barbante, mas consegue dar a ele menos fichas que batem.

Resumo

  • Um grafo de identidade liga registros que compartilham qualquer detalhe, e correntes de detalhes compartilhados ligam registros que não compartilham nada diretamente.
  • Normalizar (aparar, colocar em minúsculas, manter os dígitos do telefone) é o que faz dados bagunçados baterem.
  • Chaves fracas, como nomes, juntam pessoas diferentes, então os arquivos dos corretores contêm erros.
  • Menos detalhes repetidos (apelidos, sem telefone, logins separados) significam menos ligações.
Sua vez

Escreva duas funções. normalise(field, value) retorna None para None; senão, apara os espaços e coloca o valor em minúsculas, mantém só os dígitos quando field é "phone" e retorna None se não sobrar nada. link_records(records, keys) retorna uma lista de conjuntos de ids de registro, um conjunto por pessoa: dois registros ficam no mesmo conjunto quando compartilham um valor normalizado em qualquer campo de keys, diretamente ou por uma corrente de outros registros. Todo id de registro aparece em exatamente um conjunto.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.