Lehrplan Lektion 131 von 156 · Die Person verfolgen, nicht das Gerät
Die Person verfolgen, nicht das Gerät

Identitätsgraphen

Warum das wichtig ist Eine Treuekarte kennt deine E-Mail. Eine Shopping-App kennt dein Telefon. Eine Lieferfirma kennt deine Adresse. Keine davon allein ist ein vollständiges Bild, aber ein Datenhändler, der alle drei kauft, kann sie zu einem Datensatz über dich zusammenfügen. Eine winzige Version selbst zu bauen zeigt genau, welches gemeinsame Detail die Zusammenführung ermöglicht, und somit welches Detail man aufhören sollte zu teilen.

A Netz von String

Stell dir eine Pinnwand mit Indexkarten vor, eine pro Datensatz. Wann immer zwei Karten eine E-Mail-Adresse, eine Telefonnummer, eine Geräte-ID oder eine Wohnadresse teilen, bindest du ein Stück Schnur zwischen sie. Wenn du fertig bist, ist jeder Haufen von Karten, die durch Schnur verbunden sind, egal wie lang die Kette ist, eine Person.

Datenbroker: ein Unternehmen, das Informationen über Menschen sammelt, kauft und verkauft, meistens Menschen, die noch nie davon gehört haben.

Identity graph: eine Karte eines Brokers, die viele Datensätze (E-Mails, Telefone, Geräte, Adressen) mit einer Person verknüpft. In der Mathematik ist ein graph einfach Punkte (hier Datensätze), die durch Linien (gemeinsame Details) verbunden sind.

Die Kette ist der clevere Teil. Karte A teilt eine E-Mail mit Karte B. Karte B teilt eine Telefonnummer mit Karte C. A und C haben nichts gemeinsam, doch sie landen im selben Geflecht. So kann eine Newsletter-Anmeldung mit einem Spiel auf deinem Telefon verknüpft werden, ohne dass eine der beiden jemals die Daten der anderen sieht.

Die Übung hält fest

broker_records() gibt erfundene Datensätze aus mehreren Quellen zurück:

{"id": "r014", "source": "survey", "name": "Sam Smith",
 "email": "  SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
 "device": None, "address": None}

Jedes Detail kann fehlen (None). E-Mails kommen mit seltsamen Leerzeichen und Großbuchstaben an, also müssen sie zuerst normalised werden: mit .strip() getrimmt und in Kleinbuchstaben umgewandelt. Telefonnummern sollten nur ihre Ziffern behalten, damit "+44 7700 910283" und "447700910283" übereinstimmen. ch.isdigit() sagt dir, ob ein Zeichen eine Ziffer ist.

Folge der Zeichenkette

Baue es in drei Schritten auf:

  1. Index: ein Dictionary von jedem (field, value) Paar zu den Record IDs, die es haben. Zwei IDs unter demselben Key teilen dieses Detail.
  2. Nachbarn: für jede record id, die Menge der ids, mit denen sie etwas teilt.
  3. Walk: starte bei einem Datensatz, den niemand besucht hat, führe eine to_visit Liste, nimm wiederholt eine id davon ab, markiere sie als gesehen und füge ihre Nachbarn hinzu. Alles, was du erreichst, ist eine Gruppe.
to_visit = ["r001"]
while to_visit:              # keep going while the list is not empty
    current = to_visit.pop() # take the last id off the list
    ...
In anderen Sprachen

Brokers und Analysten nutzen oft eine Struktur namens union-find anstatt zu gehen. In JavaScript:

const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)

Und das Gleiche in Go:

func find(parent map[string]string, x string) string {
    for parent[x] != x {
        x = parent[x]
    }
    return x
}

A verlockender Fehler

Das Skript unten führt auch auf name zusammen. Beobachte, wie die Anzahl der Personen sinkt: zwei verschiedene Personen namens "Sam Smith" werden zu einer zusammengeführt. Echte Broker machen auch diese Art von Fehler, was einer der Gründe ist, warum ihre Dateien über Personen oft falsch sind. Ein falscher Datensatz kann trotzdem verkauft und bearbeitet werden.

Die Verteidigung

Die Verbindungen entstehen durch die Details, die du wiederholst. Nutze für jeden Shop oder Newsletter einen anderen E-Mail-Alias (viele Mail-Dienste bieten diese an), gib eine Telefonnummer nur an, wenn sie wirklich benötigt wird, und vermeide "log in with" Buttons, die einen Account an viele Seiten übergeben. Du kannst nicht verhindern, dass ein Broker den Faden zieht, aber du kannst ihm weniger passende Karten geben.

Zusammenfassung

  • Ein Identitätsgraph verbindet Datensätze, die ein Detail gemeinsam haben, und Ketten gemeinsamer Details verbinden Datensätze, die direkt nichts gemeinsam haben.
  • Normalisierung (Trimmen, Kleinschreibung, Beibehalten von Telefonnummern) ist das, was unordentliche Daten übereinstimmend macht.
  • Schwache Schlüssel wie Namen führen verschiedene Personen zusammen, also enthalten Broker-Dateien Fehler.
  • Fewer repeated details (aliases, no phone, separate logins) means fewer joins.
Du bist dran

Schreibe zwei Funktionen. normalise(field, value) gibt None für None zurück; ansonsten entfernt sie Leerzeichen und wandelt den Wert in Kleinbuchstaben um, behält nur die Ziffern, wenn field "phone" ist, und gibt None zurück, wenn nichts übrig bleibt. link_records(records, keys) gibt eine Liste von Mengen von record ids zurück, eine Menge pro Person: zwei Datensätze sind in derselben Menge, wenn sie einen normalisierten Wert für ein beliebiges Feld in keys teilen, direkt oder über eine Kette anderer Datensätze. Jede record id erscheint in genau einer Menge.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.