Les graphes d'identité
Pourquoi c'est important Une carte de fidélité connaît ton e-mail. Une appli de shopping connaît ton téléphone. Une entreprise de livraison connaît ton adresse. Aucune d'elles seule n'a une image complète, mais un courtier en données qui achète les trois peut les réunir en un seul dossier sur toi. En construire une toute petite version toi-même montre exactement quel détail partagé fait la jonction, et donc quel détail arrêter de partager.
Une toile de ficelle
Imagine un tableau de liège avec des fiches, une par enregistrement. Chaque fois que deux fiches partagent une adresse e-mail, un numéro de téléphone, un identifiant d'appareil ou une adresse postale, tu tends un bout de ficelle entre elles. Quand tu as fini, chaque enchevêtrement de fiches reliées par de la ficelle, aussi longue que soit la chaîne, est une seule personne.
Courtier en données : une entreprise qui collecte, achète et vend des informations sur les gens, en général des gens qui n'ont jamais entendu parler d'elle.
Graphe d'identité : la carte d'un courtier qui relie de nombreux enregistrements (e-mails, téléphones, appareils, adresses) à une seule personne. En maths, un graphe, ce sont simplement des points (ici, des enregistrements) reliés par des lignes (des détails partagés).
La chaîne est la partie astucieuse. La fiche A partage un e-mail avec la fiche B. La fiche B partage un téléphone avec la fiche C. A et C n'ont rien en commun, et pourtant elles finissent dans le même enchevêtrement. C'est ainsi qu'une inscription à une newsletter peut être reliée à un jeu sur ton téléphone sans qu'aucun des deux ne voie jamais les données de l'autre.
Les enregistrements d'entraînement
broker_records() renvoie des enregistrements inventés venant de plusieurs sources :
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
N'importe quel détail peut manquer (None). Les e-mails arrivent avec des espaces et des majuscules bizarres, donc ils doivent d'abord être normalisés : nettoyés avec .strip() et mis en minuscules. Les numéros de téléphone ne doivent garder que leurs chiffres, pour que « +44 7700 910283 » et « 447700910283 » correspondent. ch.isdigit() te dit si un caractère est un chiffre.
Suivre la ficelle
Construis-le en trois étapes :
- Index : un dict de chaque paire
(field, value)vers les identifiants d'enregistrements qui l'ont. Deux identifiants sous la même clé partagent ce détail. - Voisins : pour chaque identifiant d'enregistrement, le set des identifiants avec qui il partage quoi que ce soit.
- Parcours : pars d'un enregistrement que personne n'a visité, garde une liste
to_visit, et retire-en sans cesse un identifiant, marque-le comme vu, et ajoute ses voisins. Tout ce que tu atteins forme un groupe.
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
Dans d'autres langages
Les courtiers et les analystes utilisent souvent une structure appelée union-find au lieu du parcours. En JavaScript :
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)Et la même chose en Go :
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}Une erreur tentante
Le script en bas relie aussi sur name. Regarde le nombre de personnes baisser : deux personnes différentes appelées « Sam Smith » sont fusionnées en une. Les vrais courtiers font aussi ce genre d'erreur, c'est une raison pour laquelle leurs dossiers sur les gens sont souvent faux. Un dossier faux peut quand même être vendu et servir de base à des décisions.
La défense
Les jonctions se font par les détails que tu répètes. Utilise un alias d'e-mail différent pour chaque boutique ou newsletter (beaucoup de services de mail en proposent), ne donne un numéro de téléphone que quand c'est vraiment nécessaire, et évite les boutons « se connecter avec » qui confient un seul compte à beaucoup de sites. Tu ne peux pas empêcher un courtier de tendre de la ficelle, mais tu peux lui donner moins de fiches qui correspondent.
Récap
- Un graphe d'identité relie les enregistrements qui partagent n'importe quel détail, et des chaînes de détails partagés relient des enregistrements qui ne partagent rien directement.
- Normaliser (nettoyer, mettre en minuscules, garder les chiffres du téléphone), c'est ce qui fait correspondre des données désordonnées.
- Des clés faibles comme les noms fusionnent des personnes différentes, donc les dossiers des courtiers contiennent des erreurs.
- Moins de détails répétés (alias, pas de téléphone, connexions séparées) veut dire moins de jonctions.
Écris deux fonctions. normalise(field, value) renvoie None pour None ; sinon, elle retire les espaces et met la valeur en minuscules, ne garde que les chiffres quand field vaut "phone", et renvoie None s'il ne reste rien. link_records(records, keys) renvoie une liste de sets d'identifiants d'enregistrements, un set par personne : deux enregistrements sont dans le même set quand ils partagent une valeur normalisée pour n'importe quel champ de keys, directement ou par une chaîne d'autres enregistrements. Chaque identifiant d'enregistrement apparaît dans exactement un set.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.