Silabus Pelajaran 131 dari 156 · Melacak orangnya, bukan perangkatnya
Melacak orangnya, bukan perangkatnya

Graf identitas

Kenapa ini penting Kartu loyalitas tahu emailmu. Aplikasi belanja tahu ponselmu. Perusahaan pengiriman tahu alamatmu. Tidak ada yang memberikan gambaran lengkap sendirian, tapi broker data yang membeli ketiganya bisa menggabungkannya menjadi satu catatan tentangmu. Membuat versi kecil sendiri menunjukkan detail bersama mana yang menyatukannya, dan detail mana yang harus berhenti dibagikan.

A jaring dari string

Bayangkan sebuah papan pin dengan kartu indeks, satu untuk setiap catatan. Setiap kali dua kartu memiliki alamat email, nomor telepon, ID perangkat, atau alamat rumah yang sama, kamu mengikatkan seutas tali di antara keduanya. Saat kamu selesai, setiap tumpukan kartu yang terhubung oleh tali, berapapun panjang rantainya, adalah satu orang.

Broker data: perusahaan yang mengumpulkan, membeli dan menjual informasi tentang orang, biasanya orang yang tidak pernah mendengar tentangnya.

Identity graph: peta broker yang menghubungkan banyak record (email, telepon, perangkat, alamat) ke satu orang. Dalam matematika, graph hanyalah titik (di sini, record) yang dihubungkan oleh garis (detail yang sama).

Rantainya adalah bagian yang cerdas. Kartu A berbagi email dengan kartu B. Kartu B berbagi telepon dengan kartu C. A dan C tidak punya kesamaan, tapi mereka berakhir di kekusutan yang sama. Beginilah cara pendaftaran newsletter bisa dihubungkan ke game di ponselmu tanpa salah satu dari keduanya melihat data yang lain.

Catatan latihan

broker_records() mengembalikan data buatan dari beberapa sumber:

{"id": "r014", "source": "survey", "name": "Sam Smith",
 "email": "  SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
 "device": None, "address": None}

Detail apa pun bisa hilang (None). Email datang dengan spasi dan huruf kapital yang aneh, jadi mereka harus normalised dulu: dipotong dengan .strip() dan diubah ke huruf kecil. Nomor telepon harus hanya menyimpan digitnya, jadi "+44 7700 910283" dan "447700910283" cocok. ch.isdigit() memberitahu kamu apakah sebuah karakter adalah digit.

Mengikuti string

Bangun dalam tiga langkah:

  1. Index: dict dari setiap (field, value) ke id record yang memilikinya. Dua id di bawah kunci yang sama berbagi detail tersebut.
  2. Neighbours: untuk setiap record id, kumpulan id yang berbagi sesuatu dengannya.
  3. Walk: mulai dari sebuah record yang belum dikunjungi siapa pun, simpan daftar to_visit, dan ambil id dari daftar itu berulang kali, tandai sebagai sudah dilihat, dan tambahkan tetangganya. Semua yang kamu capai adalah satu grup.
to_visit = ["r001"]
while to_visit:              # keep going while the list is not empty
    current = to_visit.pop() # take the last id off the list
    ...
Di bahasa lain

Broker dan analis sering menggunakan struktur yang disebut union-find daripada melakukan walking. Di JavaScript:

const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)

Dan yang sama di Go:

func find(parent map[string]string, x string) string {
    for parent[x] != x {
        x = parent[x]
    }
    return x
}

kesalahan yang menggoda

Skrip di bagian bawah juga bergabung pada name. Perhatikan jumlah orang yang berkurang: dua orang berbeda bernama "Sam Smith" digabung menjadi satu. Broker asli juga membuat kesalahan seperti ini, yang menjadi salah satu alasan mengapa file mereka tentang orang sering salah. Catatan yang salah masih bisa dijual dan ditindaklanjuti.

Pertahanan

Penggabungan data terjadi melalui detail yang kamu ulangi. Gunakan alias email yang berbeda untuk setiap toko atau buletin (banyak layanan email menyediakannya), berikan nomor telepon hanya saat benar-benar dibutuhkan, dan hindari tombol "log in with" yang memberikan satu akun ke banyak situs. Kamu tidak bisa menghentikan broker menarik benang, tapi kamu bisa memberikan lebih sedikit kartu yang cocok.

Ringkasan

  • Graf identitas menggabungkan rekaman yang berbagi detail apa pun, dan rantai detail yang sama menggabungkan rekaman yang tidak berbagi apa pun secara langsung.
  • Normalisasi (trimming, lower-casing, menjaga angka telepon) adalah cara membuat data berantakan jadi cocok.
  • Kunci lemah seperti nama menggabungkan orang yang berbeda, jadi file broker berisi kesalahan.
  • Fewer detail yang berulang (alias, tanpa telepon, login terpisah) berarti lebih sedikit join.
Giliranku

Tulis dua fungsi. normalise(field, value) mengembalikan None untuk None; jika tidak, ia menghapus spasi dan mengubah nilai menjadi huruf kecil, hanya menyimpan angka saat field adalah "phone", dan mengembalikan None jika tidak ada yang tersisa. link_records(records, keys) mengembalikan daftar set id rekaman, satu set per orang: dua rekaman ada di set yang sama jika mereka berbagi nilai normalisasi untuk bidang apa pun di keys, secara langsung atau melalui rantai rekaman lainnya. Setiap id rekaman muncul di tepat satu set.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.