تدقيق الأطراف الثالثة لموقع ما
لماذا هذا مهم لا يمكنك إصلاح ما لم تحصره. قبل تغيير أي شيء في الموقع، يقوم مهندسو الخصوصية بالتقاط تحميل الصفحة وقائمة بكل خادم خارجي تواصل معه. في هذا التمرين ستكتب ذلك التدقيق بنفسك، في بضعة أسطر من Python، وستعيد استخدام الفكرة في مشروع Leg 3.
فكر في سجل الزوار عند باب المقهى. في نهاية اليوم تقرأه وتسأل: من دخل، وكم مرة، وهل ترك أي شخص شيئا خلفه؟ سجل الطلبات هو سجل زوار الموقع الإلكتروني.
HAR : اختصار لـ HTTP Archive. يمكن لـ DevTools حفظ كل طلب قامت به الصفحة في ملف واحد (تبويب Network، انقر بزر الفأرة الأيمن، "Save all as HAR"). يسرد كل إدخال الـ URL، ونوع الطلب، والـ headers، والـ status، وأي cookies تم تعيينها. يوفر متصفحنا التجريبي لك الشيء نفسه كقائمة من الـ dicts مع browser.har().
تبدو إحدى المدخلات من عالم الممارسة بهذا الشكل (مقتطع):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}ملفات HAR الحقيقية لا تحتوي على top_site؛ ستقوم بقراءتها من رابط الصفحة. يقوم سجلنا بإضافتها للحفاظ على قصر الكود.
ثلاثة أسئلة يجيب عليها التدقيق
- هل هذا الطلب إلى طرف ثالث؟ قارن site الخاص بالرابط مع
top_site. استخدم الموقع، وليس المضيف الكامل:img.shopb.exampleينتمي إلىshopb.example، لذا فهو طرف أول. - كم يحصل كل مضيف خارجي؟ احسب عدد طلباته ودون ما إذا كان قد وضع cookies.
- من يرى الأشخاص عبر المواقع؟ يمكن للمضيف الذي يظهر تحت قيمتين أو أكثر من
top_siteربط الزيارات. هذه هي العناصر التي يجب النظر إليها أولا.
تقوم أداتان مساعدتان من عالم التدريب بعمل العناوين نيابةً عنك: يعطي host_of(url) المضيف ("img.shopb.example")، ويعطي site_of(url) الموقع القابل للتسجيل ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.exampleلبناء عداد لكل مضيف، طريقة dict setdefault(key, default) مفيدة: فهي تعيد القيمة لـ key، مع تخزين default أولا إذا كان المفتاح جديدا.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}خطأ شائع: "المضيف الذي لا يضع ملفات تعريف ارتباط هو غير ضار". المضيف الذي يظهر في كل موقع لا يزال يرى عنوان IP والمتصفح في كل مرة، ويمكنه تمرير معرفه الخاص في URL بدلا من ملف تعريف ارتباط. احسب الطلبات والمواقع، وليس ملفات تعريف الارتباط فقط.
في لغات أخرى
نفس عملية التدقيق على ملف HAR تم تصديره من DevTools. ملفات HAR الحقيقية تحتفظ بالمدخلات تحت log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());يتطلب الحصول على site بشكل صحيح استخدام Public Suffix List (حتى لا يتم التعامل مع a.co.uk كجزء من co.uk). استخدم مكتبة مثل tldts في JavaScript أو golang.org/x/net/publicsuffix في Go بدلاً من التقسيم عند النقاط.
ملخص
- سجل طلبات
- A (HAR) هو دفتر زوار الموقع: كل خادم خارجي اتصل به تحميل الصفحة.
- الطرف الثالث يعني موقع site مختلف عن شريط العنوان، وليس مجرد اسم مضيف مختلف. المواقع التي تظهر تحت عدة مواقع مختلفة هي تلك القادرة على ربط الزيارات.
- Hosts seen under several different sites are the ones able to link visits.
يقوم الكود الأساسي بالتقاط سجل ممارسة لك: يتصفح Sam صفحات 12 متجر بينما تقوم AdCo بضبط ملف تعريف ارتباط ID. اكتب ثلاث دوال:
is_third_party(entry): أعدTrueعندما يكونsite_of(entry["url"])مختلفا عنentry["top_site"]، وإلا أعدFalse.audit(har): مرّ على القائمة، ولكل إدخال طرف ثالث، ابنِ قاموساً مفاتيحهhost_of(entry["url"]). كل قيمة قاموس يحتوي على"requests"(كم إدخالاً ذهب إلى ذلك المضيف)، و"sites"(قائمة مرتّبة (sorted) بقيمtop_siteالمختلفة التي رُئي تحتها) و"sets_cookies"(Trueإذا كان لأي من إدخالاته قائمةset_cookiesغير فارغة). أرجِع القاموس. تُستبعد إدخالات الطرف الأول.watchers(report): بناء على dict منaudit، أعد قائمة بالمضيفين الذين ظهروا تحت two or more مواقع، مرتبة أبجدياً.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.