Identiteitsgrafen
Waarom dit ertoe doet Een klantenkaart kent je e-mail. Een winkel-app kent je telefoonnummer. Een bezorgbedrijf kent je adres. Geen van deze geeft alleen een volledig beeld, maar een dataprovider die alle drie koopt kan ze samenvoegen tot één record over jou. Zelf een kleine versie bouwen laat precies zien welk gedeeld detail de koppeling maakt, en dus welk detail je moet stoppen met delen.
A web van string
Stel je een prikbord voor met indexkaarten, één per record. Telkens wanneer twee kaarten een e-mailadres, een telefoonnummer, een device ID of een woonadres delen, bind je een stuk touw tussen hen. Als je klaar bent, is elke kluwen van kaarten verbonden door touw, hoe lang de ketting ook is, één persoon.
Data broker: een bedrijf dat informatie over mensen verzamelt, koopt en verkoopt, meestal mensen die er nooit van hebben gehoord.
Identity graph: een kaart van een broker die veel records (e-mails, telefoons, apparaten, adressen) koppelt aan één persoon. In de wiskunde is een graph simpelweg stippen (hier, records) verbonden door lijnen (gedeelde details).
De keten is het slimme deel. Kaart A deelt een e-mail met kaart B. Kaart B deelt een telefoonnummer met kaart C. A en C hebben niets gemeen, maar ze eindigen toch in dezelfde wirwar. Dit is hoe een aanmelding voor een nieuwsbrief gekoppeld kan worden aan een spel op je telefoon zonder dat een van de twee de gegevens van de ander ziet.
De praktijkopnames
broker_records() geeft fictieve records terug van verschillende bronnen:
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
Elke detail kan ontbreken (None). E-mails komen aan met vreemde spaties en hoofdletters, dus ze moeten eerst normalised worden: getrimd met .strip() en naar kleine letters. Telefoonnummers moeten alleen hun cijfers behouden, zodat "+44 7700 910283" en "447700910283" overeenkomen. ch.isdigit() vertelt je of een teken een cijfer is.
Volgens de string
Bouw het in drie stappen:
- Index: een dictionary van elk
(field, value)paar naar de record ids die het hebben. Twee ids onder dezelfde sleutel delen die detail. - Neighbours: voor elke record id, de set van ids waarmee het iets deelt.
- Walk: begin bij een record dat niemand heeft bezocht, houd een
to_visitlijst bij, en neem herhaaldelijk een id ervan af, markeer het als gezien, en voeg de buren toe. Alles wat je bereikt is één groep.
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
In andere talen
Brokers en analisten gebruiken vaak een structuur genaamd union-find in plaats van walking. In JavaScript:
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)En hetzelfde in Go:
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}verleidelijke fout
Het script onderaan koppelt ook op name. Let op hoe het aantal mensen daalt: twee verschillende personen genaamd "Sam Smith" worden samengevoegd tot één. Echte makelaars maken ook dit soort fouten, wat een reden is waarom hun bestanden over mensen vaak fout zijn. Een verkeerde record kan nog steeds verkocht en gebruikt worden.
De verdediging
De koppelingen gebeuren door de details die je herhaalt. Gebruik een andere e-mail alias voor elke winkel of nieuwsbrief (veel maildiensten bieden deze aan), geef een telefoonnummer alleen wanneer het echt nodig is, en vermijd "log in met" knoppen die één account aan veel sites geven. Je kunt een broker die een draad trekt niet stoppen, maar je kunt het minder passende kaarten geven.
Samenvatting
- Een identity graph verbindt records die een detail delen, en ketens van gedeelde details verbinden records die niets direct delen.
- Normaliseren (trimmen, naar kleine letters omzetten, telefooncijfers behouden) zorgt ervoor dat rommelige data overeenkomt.
- Zwakke sleutels zoals namen voegen verschillende mensen samen, dus bevatten broker bestanden fouten.
- Fewer herhaalde details (aliases, geen telefoon, aparte logins) betekent minder joins.
Schrijf twee functies. normalise(field, value) geeft None terug voor None; anders verwijdert het spaties en zet het de waarde om naar kleine letters, houdt het alleen de cijfers over als field is "phone", en geeft het None terug als er niets overblijft. link_records(records, keys) geeft een lijst van sets van record ids terug, één set per persoon: twee records zitten in dezelfde set wanneer ze een genormaliseerde waarde delen voor elk veld in keys, direct of via een keten van andere records. Elke record id verschijnt in precies één set.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.