Özdeşlik grafikleri
Neden önemli Bir sadakat kartı e-postanı bilir. Bir alışveriş uygulaması telefonunu bilir. Bir teslimat firması adresini bilir. Bunların hiçbiri tek başına tam bir resim sunmaz ama üçünü de satın alan bir veri simsarı bunları senin hakkında tek bir kayıtta birleştirebilir. Küçük bir versiyonu kendin inşa etmek, birleştirmeyi tam olarak hangi ortak detayın yaptığını ve dolayısıyla hangi detayı paylaşmayı bırakman gerektiğini gösterir.
string
ağıHer biri bir kaydı temsil eden indeks kartlarının olduğu bir pano hayal et. İki kart aynı e-posta adresini, telefon numarasını, cihaz kimliğini veya ev adresini paylaştığında, aralarına bir parça ip bağla. İşin bittiğinde, ip ile birbirine bağlanan her kart karışımı, zincir ne kadar uzun olursa olsun, bir kişidir.
Veri brokeru: insanlar hakkında, genellikle kendisinden hiç haberi olmayan insanlar hakkında bilgi toplayan, satın alan ve satan bir şirket.
Kimlik grafiği: birçok kaydı (e-postalar, telefonlar, cihazlar, adresler) tek bir kişiye bağlayan bir aracı haritasıdır. Matematikte bir grafik sadece çizgilerle (ortak detaylar) birleştirilmiş noktalardan (burada, kayıtlar) oluşur.
Zincir kısmı akıllı olan bölüm. Kart A, kart B ile bir e-posta paylaşıyor. Kart B, kart C ile bir telefon numarası paylaşıyor. A ve C arasında hiçbir ortak nokta yok, yine de aynı karmaşanın içinde buluşuyorlar. Bir bülten aboneliği, telefonundaki bir oyuna, hiçbirinin diğerinin verisini görmediği bir şekilde bu şekilde bağlanabilir.
Pratik kayıtları
broker_records() birkaç kaynaktan uydurma kayıtlar döndürür:
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
Herhangi bir detay eksik olabilir (None). E-postalar tuhaf boşluklar ve büyük harflerle geliyor, bu yüzden önce normalised yapılmalı: .strip() ile kırpılmalı ve küçük harfe çevrilmeli. Telefon numaraları sadece rakamlarını tutmalı, böylece "+44 7700 910283" ve "447700910283" eşleşmeli. ch.isdigit() bir karakterin rakam olup olmadığını söyler.
stringi takip eden
Üç adımda inşa et:
- Index: her
(field, value)çiftinden o detaya sahip olan kayıt idlerine bir dict. Aynı anahtar altındaki iki id o detayı paylaşır. - Neighbours: her bir record id için, herhangi bir şey paylaştığı idlerin kümesi.
- Walk: kimsenin ziyaret etmediği bir kayıttan başla, bir
to_visitlistesi tut, sürekli listeden bir id al, onu görülmüş olarak işaretle ve komşularını ekle. Ulaştığın her şey bir gruptur.
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
Diğer dillerde
Brokerlar ve analistler genellikle yürümek yerine union-find denilen bir yapı kullanırlar. JavaScript'te:
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)Ve Go için de aynı şekilde:
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}cazip hata
Alttaki script name üzerinde de birleştirme yapar. Kişi sayısının düştüğünü izle: "Sam Smith" adlı iki farklı kişi tek bir kişiye dönüşüyor. Gerçek brokerlar da bu tür hatalar yapıyor, bu da kişilere dair dosyalarının neden sık sık yanlış olduğunun bir nedeni. Yanlış bir kayıt hala satılabilir ve üzerinde işlem yapılabilir.
Savunma
Bağlantılar tekrarladığın detaylar üzerinden kurulur. Her mağaza veya bülten için farklı bir e-posta takma adı kullan (birçok mail servisi bunları sunar), telefon numarasını sadece gerçekten gerektiğinde ver ve bir hesabı birçok siteye teslim eden "log in with" butonlarından kaçın. Bir aracının ipi çekmesini durduramazsın ama ona daha az eşleşen kart verebilirsin.
Özet
- Bir identity graph, herhangi bir detayı paylaşan kayıtları birleştirir ve ortak detay zincirleri, doğrudan hiçbir şey paylaşmayan kayıtları birleştirir.
- Normalleştirme (trimming, lower-casing, telefon rakamlarını tutma) karmaşık verilerin eşleşmesini sağlar.
- İsimler gibi zayıf anahtarlar farklı kişileri birleştirir, bu yüzden broker dosyaları hatalar içerir.
- Daha az tekrarlanan detay (takma adlar, telefon yok, ayrı girişler) daha az join anlamına gelir.
İki fonksiyon yaz. normalise(field, value), None için None döndürür; aksi takdirde boşlukları siler ve değeri küçük harfe çevirir, field değeri "phone" olduğunda sadece rakamları tutar ve hiçbir şey kalmazsa None döndürür. link_records(records, keys), her kişi için bir küme içeren kayıt idleri listesi döndürür: iki kayıt, keys içindeki herhangi bir alan için normalize edilmiş bir değeri doğrudan veya başka kayıtler zinciri üzerinden paylaştıklarında aynı kümede yer alır. Her kayıt id tam olarak bir kümede görünür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.