Kurrikulum Leson 131 van 156 · Doop die persoon op, nie die toestel nie
Doop die persoon op, nie die toestel nie

Identiteitsgrafieke

Waarom dit saak maak 'n lojaliteitskaart ken jou e-pos. 'n Buitebestel-app ken jou foonnommer. 'n Afleweringfirma ken jou adres. Geen van hulle alleen gee die volle prent nie, maar 'n data-makelaar wat alles drie koop, kan dit saamvoeg tot een rekord oor jou. Bou 'n klein weergawe self om presies te sien watter gedeelde detail die koppeling maak, en dus watter detail jy moet ophou deel.

A web van string

Stel jou 'n pinbord met indekskaarte voor, een per rekord. Wanneer twee kaarte 'n e-posadres, 'n telefoonnommer, 'n device ID of 'n huisadres deel, bind jy 'n stuk tou tussen hulle. Wanneer jy klaar is, is elke knoop van kaarte wat deur tou verbind is, hoe lank die ketting ook al is, een persoon.

Data-makelaar: 'n maatskappy wat inligting oor mense versamel, koop en verkoop, gewoonlik mense wat nog nooit van dit gehoor het nie.

Identiteitsgrafik: 'n makelaar se kaart wat baie rekords (e-posse, fone, toestelle, adresse) aan een persoon skakel. In wiskunde is 'n grafik bloot kolle (hier, rekords) wat deur lyne (gedeelde besonderhede) verbind word.

Die ketting is die slim deel. Kaart A deel 'n e-pos met kaart B. Kaart B deel 'n telefoonnommer met kaart C. A en C het niks in gemeen nie, maar hulle eindig in dieselfde knoop. Dit is hoe 'n nuusbrief-aanmelding aan 'n speletjie op jou foon gekoppel kan word sonder dat een van hulle die ander een se data sien.

Die oefenrekords

broker_records() gee denkbeeldige rekords vanaf verskeie bronne:

{"id": "r014", "source": "survey", "name": "Sam Smith",
 "email": "  SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
 "device": None, "address": None}

Enige detail kan ontbreek (None). E-posse kom met vreemde spasies en hoofletters aan, so hulle moet eers normalised word: gesny met .strip() en na kleinletters verander. Telefoonnommers moet net hul syfers behou, sodat "+44 7700 910283" en "447700910283" ooreenstem. ch.isdigit() vertel jou of 'n karakter 'n syfer is.

Volgens die string

Bou dit in drie stappe:

  1. Index: 'n dict van elke (field, value) paar na die record ids wat dit het. Twee ids onder dieselfde sleutel deel daardie besonderheid.
  2. Buurmane: vir elke rekord id, die stel van ids waarmee dit enigiets deel.
  3. Walk: begin by 'n rekord wat niemand besoek het nie, hou 'n to_visit lys aan, en neem herhaaldelik 'n id van dit af, merk dit as gesien, en voeg sy neighbours by. Alles wat jy bereik is een groep.
to_visit = ["r001"]
while to_visit:              # keep going while the list is not empty
    current = to_visit.pop() # take the last id off the list
    ...
In ander tale

Brokers en analiste gebruik dikwels 'n struktuur genaamd union-find in plaas van walking. In JavaScript:

const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)

En dieselfde in Go:

func find(parent map[string]string, x string) string {
    for parent[x] != x {
        x = parent[x]
    }
    return x
}

'n verleidelende fout

Die skrif onderaan voeg ook saam op name. Kyk hoe die aantal mense daal: twee verskillende mense met die naam "Sam Smith" word saamgevoeg tot een. Regte makelaars maak ook hierdie soort fout, wat een rede is waarom hul lêers oor mense dikwels verkeerd is. 'n Verkeerde rekord kan steeds verkoop en gebruik word.

Die verdediging

Die skakels gebeur deur die besonderhede wat jy herhaal. Gebruik 'n ander e-pos alias vir elke winkel of nuusbrief (baie posdienste bied dit aan), gee 'n telefoonnommer net wanneer dit werklik nodig is, en vermy "log in with" knoppies wat een rekening aan baie webwerwe gee. Jy kan nie 'n broker se string trek stop nie, maar jy kan dit minder passtelde kaarte gee.

Opsomming

  • 'n identiteitsgraf verbind rekords wat enige besonderheid deel, en kettinge van gedeelde besonderhede verbind rekords wat niks direk deel nie.
  • Normalisering (trimming, lower-casing, om foonnommers te behou) is wat deurmekaar data laat ooreenstem.
  • Swak sleutels soos name meng verskillende mense, so broker-lêers bevat foute.
  • Fewer herhalende besonderhede (aliases, geen telefoon, aparte aanmelde) beteken minder joins.
Jou beurt

Skryf twee funksies. normalise(field, value) gee None terug vir None; anders verwyder dit spasies en maak dit kleinletter, hou net die syfers wanneer field is "phone", en gee None terug as niks oorbly nie. link_records(records, keys) gee 'n lys van stelle van rekord-id's terug, een stel per persoon: twee rekords is in dieselfde stel wanneer hulle 'n genormaliseerde waarde deel vir enige veld in keys, direk of deur 'n ketting van ander rekords. Elke rekord-id verskyn in presies een stel.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.