Identity graphs
यह क्यों मायने रखता है एक loyalty card आपका email जानता है। एक shopping ऐप आपका फ़ोन जानता है। एक delivery फ़र्म आपका पता जानती है। उनमें से कोई अकेले पूरी तस्वीर नहीं, पर तीनों ख़रीदने वाला एक data broker उन्हें आपके बारे में एक record में जोड़ सकता है। एक छोटा रूप ख़ुद बनाना ठीक दिखाता है कि कौन-सा साझा विवरण जोड़ता है, और इसलिए कौन-सा विवरण साझा करना बंद करना है।
धागे का एक जाल
index cards वाले एक pinboard की कल्पना करें, हर record का एक। जब भी दो cards एक email पता, एक फ़ोन नंबर, एक device ID या एक घर का पता साझा करें, आप उनके बीच धागे का एक टुकड़ा बाँधते हैं। जब आप ख़त्म करें, तो धागे से जुड़े cards का हर उलझा गुच्छा, chain चाहे कितनी भी लंबी हो, एक व्यक्ति है।
Data broker: एक कंपनी जो लोगों के बारे में जानकारी इकट्ठा करती, ख़रीदती और बेचती है, आमतौर पर उन लोगों की जिन्होंने उसके बारे में कभी नहीं सुना।
Identity graph: एक broker का नक्शा जो कई records (emails, फ़ोन, devices, पते) को एक व्यक्ति से जोड़ता है। गणित में एक graph बस बिंदु (यहाँ, records) हैं जो रेखाओं (साझा विवरण) से जुड़े हैं।
chain चालाक हिस्सा है। Card A card B से एक email साझा करता है। Card B card C से एक फ़ोन साझा करता है। A और C में कुछ साझा नहीं, फिर भी वे एक ही गुच्छे में पहुँचते हैं। इसी तरह एक newsletter sign-up आपके फ़ोन के एक game से जुड़ सकता है बिना दोनों में से किसी के कभी दूसरे का डेटा देखे।
अभ्यास records
broker_records() कई स्रोतों से बनावटी records लौटाता है:
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
कोई भी विवरण ग़ायब हो सकता है (None)। Emails अजीब spaces और बड़े अक्षरों के साथ आते हैं, इसलिए उन्हें पहले normalise करना होगा: .strip() से छाँटें और छोटे अक्षरों में करें। फ़ोन नंबरों को सिर्फ़ अपने अंक रखने चाहिए, ताकि "+44 7700 910283" और "447700910283" मेल खाएँ। ch.isdigit() बताता है कि एक अक्षर एक अंक है या नहीं।
धागे का पीछा करना
इसे तीन क़दमों में बनाएँ:
- Index: हर
(field, value)जोड़े से उन record ids तक एक dict जिनके पास वह है। एक ही key के नीचे दो ids वह विवरण साझा करती हैं। - पड़ोसी: हर record id के लिए, उन ids का set जिनसे वह कुछ भी साझा करती है।
- चलना: एक ऐसे record से शुरू करें जिस पर कोई नहीं गया, एक
to_visitसूची रखें, और बार-बार उससे एक id लें, उसे देखा चिह्नित करें, और उसके पड़ोसी जोड़ें। आप जिस तक पहुँचें वह सब एक समूह है।
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
दूसरी भाषाओं में
Brokers और विश्लेषक अक्सर चलने के बजाय union-find नाम की एक संरचना इस्तेमाल करते हैं। JavaScript में:
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)और Go में वही:
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}एक ललचाने वाली ग़लती
नीचे की script name पर भी जोड़ती है। लोगों की संख्या गिरते देखें: "Sam Smith" नाम के दो अलग लोग एक में मिला दिए जाते हैं। असली brokers भी इस तरह की ग़लती करते हैं, जो एक कारण है कि लोगों के बारे में उनकी फ़ाइलें अक्सर ग़लत होती हैं। एक ग़लत record फिर भी बेचा और उस पर काम किया जा सकता है।
बचाव
जोड़ उन विवरणों से होते हैं जो आप दोहराते हैं। हर दुकान या newsletter के लिए एक अलग email alias इस्तेमाल करें (कई mail सेवाएँ ये देती हैं), एक फ़ोन नंबर सिर्फ़ तब दें जब सचमुच ज़रूरी हो, और "log in with" buttons से बचें जो एक खाता कई साइटों को सौंपते हैं। आप एक broker को धागा खींचने से नहीं रोक सकते, पर आप उसे कम मेल खाते cards दे सकते हैं।
सार
- एक identity graph कोई भी विवरण साझा करने वाले records जोड़ता है, और साझा विवरणों की chains सीधे कुछ साझा न करने वाले records जोड़ती हैं।
- Normalise करना (छाँटना, छोटे अक्षर, फ़ोन अंक रखना) वह है जो उलझे डेटा को मेल खिलाता है।
- नामों जैसी कमज़ोर keys अलग लोगों को मिला देती हैं, इसलिए broker फ़ाइलों में ग़लतियाँ होती हैं।
- कम दोहराए विवरण (aliases, कोई फ़ोन नहीं, अलग logins) का मतलब कम जोड़।
दो functions लिखें। normalise(field, value) None के लिए None लौटाता है; नहीं तो यह spaces छाँटता है और मान को छोटे अक्षरों में करता है, field "phone" होने पर सिर्फ़ अंक रखता है, और कुछ न बचे तो None लौटाता है। link_records(records, keys) record ids के sets की एक सूची लौटाता है, हर व्यक्ति का एक set: दो records एक ही set में हैं जब वे keys के किसी भी फ़ील्ड के लिए एक normalised मान साझा करें, सीधे या दूसरे records की एक chain के ज़रिए। हर record id ठीक एक set में आती है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।