Programma Lezione 131 di 156 · Tracciare la persona, non il dispositivo
Tracciare la persona, non il dispositivo

Grafi delle identità

Perché è importante Una carta fedeltà conosce la tua email. Un'app di shopping conosce il tuo telefono. Una ditta di consegne conosce il tuo indirizzo. Nessuno di loro da solo ha il quadro completo, ma un data broker che li compra tutti e tre può unirli in un unico record su di te. Costruirne tu una versione minuscola mostra esattamente quale dettaglio condiviso fa l'unione, e quindi quale dettaglio smettere di condividere.

Una ragnatela di spago

Immagina una bacheca con delle schede, una per record. Ogni volta che due schede condividono un indirizzo email, un numero di telefono, un ID di dispositivo o un indirizzo di casa, leghi un pezzo di spago tra loro. Quando hai finito, ogni groviglio di schede unite dallo spago, per quanto lunga sia la catena, è una persona.

Data broker: un'azienda che raccoglie, compra e vende informazioni sulle persone, di solito persone che non ne hanno mai sentito parlare.

Grafo delle identità: la mappa di un broker che collega molti record (email, telefoni, dispositivi, indirizzi) a una persona. In matematica un grafo è semplicemente fatto di punti (qui, i record) uniti da linee (i dettagli condivisi).

La catena è la parte furba. La scheda A condivide un'email con la scheda B. La scheda B condivide un telefono con la scheda C. A e C non hanno niente in comune, eppure finiscono nello stesso groviglio. È così che l'iscrizione a una newsletter può essere unita a un gioco sul tuo telefono senza che nessuno dei due abbia mai visto i dati dell'altro.

I record di esercitazione

broker_records() restituisce record inventati da diverse fonti:

{"id": "r014", "source": "survey", "name": "Sam Smith",
 "email": "  SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
 "device": None, "address": None}

Qualsiasi dettaglio può mancare (None). Le email arrivano con spazi e maiuscole strani, quindi vanno prima normalizzate: ripulite con .strip() e messe in minuscolo. I numeri di telefono dovrebbero tenere solo le cifre, così "+44 7700 910283" e "447700910283" corrispondono. ch.isdigit() ti dice se un carattere è una cifra.

Seguire lo spago

Costruiscilo in tre passi:

  1. Indice: un dict da ogni coppia (field, value) agli id dei record che ce l'hanno. Due id sotto la stessa chiave condividono quel dettaglio.
  2. Vicini: per ogni id di record, il set degli id con cui condivide qualcosa.
  3. Percorso: parti da un record che nessuno ha visitato, tieni una lista to_visit, e ripetutamente togli un id dalla lista, segnalo come visto, e aggiungi i suoi vicini. Tutto ciò che raggiungi è un gruppo.
to_visit = ["r001"]
while to_visit:              # keep going while the list is not empty
    current = to_visit.pop() # take the last id off the list
    ...
In altri linguaggi

Broker e analisti spesso usano una struttura chiamata union-find invece del percorso. In JavaScript:

const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)

E lo stesso in Go:

func find(parent map[string]string, x string) string {
    for parent[x] != x {
        x = parent[x]
    }
    return x
}

Un errore allettante

Lo script in fondo unisce anche in base a name. Guarda scendere il numero di persone: due persone diverse che si chiamano "Sam Smith" vengono unite in una. Anche i broker veri fanno questo tipo di errore, ed è uno dei motivi per cui i loro file sulle persone sono spesso sbagliati. Un record sbagliato può comunque essere venduto e usato.

La difesa

Le unioni avvengono attraverso i dettagli che ripeti. Usa un alias email diverso per ogni negozio o newsletter (molti servizi di posta li offrono), dai un numero di telefono solo quando serve davvero, ed evita i pulsanti "accedi con" che consegnano un account a molti siti. Non puoi impedire a un broker di tirare lo spago, ma puoi dargli meno schede che corrispondono.

Riepilogo

  • Un grafo delle identità unisce i record che condividono un qualsiasi dettaglio, e catene di dettagli condivisi uniscono record che non condividono niente direttamente.
  • Normalizzare (ripulire, mettere in minuscolo, tenere le cifre del telefono) è ciò che fa corrispondere dati disordinati.
  • Chiavi deboli come i nomi uniscono persone diverse, quindi i file dei broker contengono errori.
  • Meno dettagli ripetuti (alias, niente telefono, accessi separati) significano meno unioni.
Tocca a te

Scrivi due funzioni. normalise(field, value) restituisce None per None; altrimenti toglie gli spazi e mette in minuscolo il valore, tiene solo le cifre quando field è "phone", e restituisce None se non resta niente. link_records(records, keys) restituisce una lista di set di id di record, un set per persona: due record sono nello stesso set quando condividono un valore normalizzato per un qualsiasi campo in keys, direttamente o attraverso una catena di altri record. Ogni id di record compare esattamente in un set.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.