المنهج الدراسي الدرس 71 من 156 · أطراف خارجية على موقعك الخاص
أطراف خارجية على موقعك الخاص

تدقيق الأطراف الثالثة لموقع ما

لماذا هذا مهم لا يمكنك إصلاح ما لم تحصره. قبل تغيير أي شيء في الموقع، يقوم مهندسو الخصوصية بالتقاط تحميل الصفحة وقائمة بكل خادم خارجي تواصل معه. في هذا التمرين ستكتب ذلك التدقيق بنفسك، في بضعة أسطر من Python، وستعيد استخدام الفكرة في مشروع Leg 3.

فكر في سجل الزوار عند باب المقهى. في نهاية اليوم تقرأه وتسأل: من دخل، وكم مرة، وهل ترك أي شخص شيئا خلفه؟ سجل الطلبات هو سجل زوار الموقع الإلكتروني.

ملف

HAR : اختصار لـ HTTP Archive. يمكن لـ DevTools حفظ كل طلب قامت به الصفحة في ملف واحد (تبويب Network، انقر بزر الفأرة الأيمن، "Save all as HAR"). يسرد كل إدخال الـ URL، ونوع الطلب، والـ headers، والـ status، وأي cookies تم تعيينها. يوفر متصفحنا التجريبي لك الشيء نفسه كقائمة من الـ dicts مع browser.har().

تبدو إحدى المدخلات من عالم الممارسة بهذا الشكل (مقتطع):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

ملفات HAR الحقيقية لا تحتوي على top_site؛ ستقوم بقراءتها من رابط الصفحة. يقوم سجلنا بإضافتها للحفاظ على قصر الكود.

ثلاثة أسئلة يجيب عليها التدقيق

  1. هل هذا الطلب إلى طرف ثالث؟ قارن site الخاص بالرابط مع top_site. استخدم الموقع، وليس المضيف الكامل: img.shopb.example ينتمي إلى shopb.example، لذا فهو طرف أول.
  2. كم يحصل كل مضيف خارجي؟ احسب عدد طلباته ودون ما إذا كان قد وضع cookies.
  3. من يرى الأشخاص عبر المواقع؟ يمكن للمضيف الذي يظهر تحت قيمتين أو أكثر من top_site ربط الزيارات. هذه هي العناصر التي يجب النظر إليها أولا.

تقوم أداتان مساعدتان من عالم التدريب بعمل العناوين نيابةً عنك: يعطي host_of(url) المضيف ("img.shopb.example")، ويعطي site_of(url) الموقع القابل للتسجيل ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

لبناء عداد لكل مضيف، طريقة dict setdefault(key, default) مفيدة: فهي تعيد القيمة لـ key، مع تخزين default أولا إذا كان المفتاح جديدا.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

خطأ شائع: "المضيف الذي لا يضع ملفات تعريف ارتباط هو غير ضار". المضيف الذي يظهر في كل موقع لا يزال يرى عنوان IP والمتصفح في كل مرة، ويمكنه تمرير معرفه الخاص في URL بدلا من ملف تعريف ارتباط. احسب الطلبات والمواقع، وليس ملفات تعريف الارتباط فقط.

في لغات أخرى

نفس عملية التدقيق على ملف HAR تم تصديره من DevTools. ملفات HAR الحقيقية تحتفظ بالمدخلات تحت log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

يتطلب الحصول على site بشكل صحيح استخدام Public Suffix List (حتى لا يتم التعامل مع a.co.uk كجزء من co.uk). استخدم مكتبة مثل tldts في JavaScript أو golang.org/x/net/publicsuffix في Go بدلاً من التقسيم عند النقاط.

ملخص

    سجل طلبات
  • A (HAR) هو دفتر زوار الموقع: كل خادم خارجي اتصل به تحميل الصفحة.
  • الطرف الثالث يعني موقع site مختلف عن شريط العنوان، وليس مجرد اسم مضيف مختلف.
  • المواقع التي تظهر تحت عدة مواقع مختلفة هي تلك القادرة على ربط الزيارات.
  • Hosts seen under several different sites are the ones able to link visits.
دورك

يقوم الكود الأساسي بالتقاط سجل ممارسة لك: يتصفح Sam صفحات 12 متجر بينما تقوم AdCo بضبط ملف تعريف ارتباط ID. اكتب ثلاث دوال:

  1. is_third_party(entry): أعد True عندما يكون site_of(entry["url"]) مختلفا عن entry["top_site"]، وإلا أعد False.
  2. audit(har): مرّ على القائمة، ولكل إدخال طرف ثالث، ابنِ قاموساً مفاتيحه host_of(entry["url"]). كل قيمة قاموس يحتوي على "requests" (كم إدخالاً ذهب إلى ذلك المضيف)، و"sites" (قائمة مرتّبة (sorted) بقيم top_site المختلفة التي رُئي تحتها) و"sets_cookies" (True إذا كان لأي من إدخالاته قائمة set_cookies غير فارغة). أرجِع القاموس. تُستبعد إدخالات الطرف الأول.
  3. watchers(report): بناء على dict من audit، أعد قائمة بالمضيفين الذين ظهروا تحت two or more مواقع، مرتبة أبجدياً.
اطبع كل watcher مع عدد طلباته أخيرا. تستخدم الاختبارات سجلات أخرى، لذا لا يمكن كتابة الإجابة يدويا.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.