المنهج الدراسي الدرس 131 من 156 · تتبع الشخص، وليس الجهاز
تتبع الشخص، وليس الجهاز

رسوم بيانية للهوية

لماذا هذا مهم بطاقة الولاء تعرف بريدك الإلكتروني. تطبيق التسوق يعرف هاتفك. شركة التوصيل تعرف عنوانك. لا يعطي أي منها وحده صورة كاملة، لكن وسيط البيانات الذي يشتري الثلاثة يمكنه دمجهم في سجل واحد عنك. بناء نسخة صغيرة بنفسك يوضح بالضبط أي تفصيل مشترك يقوم بالربط، وبالتالي أي تفصيل يجب التوقف عن مشاركته.

A شبكة من string

تخيل لوحة دبابيس بها بطاقات فهرسة، بطاقة واحدة لكل سجل. كلما تشاركت بطاقتان في عنوان بريد إلكتروني، أو رقم هاتف، أو معرف جهاز، أو عنوان منزل، اربط قطعة خيط بينهما. عندما تنتهي، كل مجموعة من البطاقات المتصلة بالخيوط، مهما كان طول السلسلة، تمثل شخصا واحدا.

وسيط البيانات: شركة تجمع وتشتري وتبيع معلومات عن الأشخاص، وعادة ما يكونون أشخاصا لم يسمعوا عنها أبدا.

Identity graph: هي خريطة وسيط تربط سجلات عديدة (رسائل البريد الإلكتروني، الهواتف، الأجهزة، العناوين) بشخص واحد. في الرياضيات، graph هو ببساطة نقاط (هنا، سجلات) متصلة بخطوط (تفاصيل مشتركة).

السلسلة هي الجزء الذكي. تشترك البطاقة A في بريد إلكتروني مع البطاقة B. تشترك البطاقة B في هاتف مع البطاقة C. لا يوجد أي شيء مشترك بين A وC، ومع ذلك ينتهيان في نفس التشابك. هكذا يمكن ربط الاشتراك في النشرة الإخبارية بلعبة على هاتفك دون أن يرى أي منهما بيانات الآخر.

سجلات التدريب

تعيد

broker_records() سجلات وهمية من مصادر متعددة:

{"id": "r014", "source": "survey", "name": "Sam Smith",
 "email": "  SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
 "device": None, "address": None}

قد تفتقد أي تفاصيل (None). تصل رسائل البريد الإلكتروني مع مسافات غريبة وحروف كبيرة، لذا يجب normalised أولا: إزالة المسافات باستخدام .strip() وتحويلها إلى حروف صغيرة. يجب أن تحتفظ أرقام الهواتف بأرقامها فقط، لذا "447700910283" و "+44 7700 910283" متطابقان. ch.isdigit() يخبرك ما إذا كانت الشخصية رقما.

بعد السلسلة

ابنِهِ في ثلاث خطوات:

  1. Index: قاموس من كل (field, value) زوج إلى معرفات السجلات التي تحتوي عليه. معرفان تحت نفس المفتاح يشتركان في تلك التفاصيل.
  2. Neighbours: لكل record id، مجموعة الـ ids التي تشترك معها في أي شيء.
  3. Walk: ابدأ من سجل لم يزره أحد، احتفظ بقائمة to_visit، وخذ id منها بشكل متكرر، وعلم عليه كمرئي، وأضف جيرانه. كل ما تصل إليه هو مجموعة واحدة.
to_visit = ["r001"]
while to_visit:              # keep going while the list is not empty
    current = to_visit.pop() # take the last id off the list
    ...
في لغات أخرىغالباً ما يستخدم

Brokers و analysts هيكلاً يسمى union-find بدلاً من المشي. في JavaScript:

const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)

والشيء نفسه في Go:

func find(parent map[string]string, x string) string {
    for parent[x] != x {
        x = parent[x]
    }
    return x
}

خطأ مغرٍ

ينضم النص البرمجي في الأسفل أيضاً إلى name. راقب انخفاض عدد الأشخاص: يتم دمج شخصين مختلفين باسم "Sam Smith" في شخص واحد. يرتكب الوسطاء الحقيقيون هذا النوع من الأخطاء أيضاً، وهذا أحد الأسباب التي تجعل ملفاتهم عن الأشخاص خاطئة غالباً. يمكن بيع سجل خاطئ والتعامل معه أيضاً.

الدفاع

تحدث عمليات الربط من خلال التفاصيل التي تكررها. استخدم اسم مستعار مختلف للبريد الإلكتروني لكل متجر أو نشرة إخبارية (توفر العديد من خدمات البريد هذه)، قدم رقم الهاتف فقط عندما يكون مطلوبا حقا، وتجنب أزرار "log in with" التي تمنح حسابا واحدا لمواقع عديدة. لا يمكنك منع وسيط من سحب الخيط، ولكن يمكنك إعطاؤه بطاقات مطابقة أقل.

ملخص

  • يربط مخطط الهوية السجلات التي تشترك في أي تفصيل، وتربط سلاسل التفاصيل المشتركة السجلات التي لا تشترك في أي شيء بشكل مباشر.
  • عملية التطبيع (trimming، وlower-casing، والاحتفاظ بأرقام الهاتف) هي ما يجعل البيانات غير المنظمة متطابقة.
  • المفاتيح الضعيفة مثل الأسماء تدمج أشخاصا مختلفين، لذا تحتوي ملفات broker على أخطاء.
  • تفاصيل متكررة أقل (أسماء مستعارة، لا توجد هواتف، تسجيل دخول منفصل) تعني عمليات join أقل.
دورك

اكتب دالتين. تعيد normalise(field, value) القيمة None لـ None؛ وإلا فإنها تزيل المسافات وتحول القيمة إلى أحرف صغيرة، وتحتفظ بالأرقام فقط عندما تكون field هي "phone"، وتعيد None إذا لم يتبقَ شيء. تعيد link_records(records, keys) قائمة من مجموعات معرفات السجلات، مجموعة واحدة لكل شخص: يكون سجلان في نفس المجموعة عندما يشتركان في قيمة موحدة لأي حقل في keys، سواء بشكل مباشر أو عبر سلسلة من السجلات الأخرى. يظهر كل معرف سجل في مجموعة واحدة بالضبط.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.