قم بمسح الويب المحاكي
لماذا هذا مهمالعد هو الطريقة التي تحول بها قلقا غامضا ("أجهزة التتبع في كل مكان") إلى حقيقة يمكنك التحقق منها وتكرارها. في هذا المختبر، تقوم بتشغيل crawl بأسلوب واقعي على 1,000 موقع محاكى وتبني الجدول الذي تبدأ به كل دراسة تتبع: أي أطراف ثالثة تظهر، وفي كم موقع.
A crawl تشبه فحص المخزون في متجر: تمشى في كل ممر، تسجل كل قطعة، ثم تجمعها. هنا كل ممر هو موقع، وكل قطعة هي طلب أجرته الصفحة.
الويب المحاكى
يُنشئSimWeb(seed) من watched.leg7b_web ألف موقع خيالي، مرتبة حسب الشعبية. يسرد web.sites أسماءها ويعيد web.visit(site) ما سجله crawler مزود بأدوات القياس:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleطرف ثالث: موقع آخر غير الموقع الذي تزوره والذي تتصل به الصفحة. إذا قمت بزيارة calmriver.example وقام بتحميل t.adco.example، فإن الطرف الثالث هو adco.example.
النطاق القابل للتسجيل (الموقع): هو جزء من اسم المضيف الذي يسيطر عليه مالك واحد، مثل adco.example لـ t.adco.example. يقوم site_of(host) بحسابه لك؛ لقد كتبته بنفسك في Leg 6.
Prevalence: مدى انتشار شيء ما: هنا، عدد (أو حصة) المواقع التي تم زحفها والتي يظهر فيها طرف ثالث.
العد باستخدام dict، والترتيب باستخدام key
يحتفظA set بكل قيمة مرة واحدة، وهو أمر مثالي لـ "ما هي الأطراف الثالثة التي اتصلت بها هذه الصفحة". للعد عبر الصفحات، استخدم dict وأضف واحداً لكل صفحة يظهر فيها طرف ثالث. لفرز الجدول، قم بفرز items الخاصة به باستخدام key: وهي function تحدد ما يجب فرزه بناءً عليه.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.لاحظ أن الطرف الثالث يُحسب مرة واحدة لكل موقع، مهما كان عدد الطلبات التي يرسلها هناك. أداة التتبع التي تطلق عشر بكسلات على موقع واحد لا تزال تُحسب كموقع واحد.
TRACKER_LIST هي قائمة حظر لمواقع التتبع المعروفة، بنفس الطريقة التي تصنفها بها قوائم التصفية العامة. نسبة المواقع التي تحمل متتبعاً واحداً على الأقل مدرجاً هي الرقم الرئيسي في العديد من الدراسات.
خطأ شائع: "كل طرف ثالث هو متتبع." الخطوط، وشبكات توصيل المحتوى، وأدوات الدفع هي أطراف ثالثة أيضاً. سيظهر جدولك أن بعض الأطراف الثالثة الأكثر شيوعاً غير ضارة، وهذا هو سبب قيام الدراسات بالتصنيف بعناية.
في لغات أخرى
حساب الانتشار في JavaScript (Node) و Go:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}ملخص
- A يزور crawl العديد من المواقع ويسجل كل request؛ ويحول تلك الدورات إلى حقائق.
- استخدم site_of لتجميع hosts في sites، واحسب كل third party مرة واحدة لكل site.
- الفرز باستخدام مفتاح للترتيب حسب الانتشار، مع كسر التعادل حسب الاسم.
- ليس كل طرف ثالث هو متتبع؛ قم بالتصنيف باستخدام قائمة وحدد القائمة التي استخدمتها.
اكتب خمس دوال:
third_parties(load): مجموعة المواقع (site_of(request["host"])) التي اتصلت بها الصفحة، بدونload["site"].prevalence(loads): قاموس من موقع خارجي إلى عدد مرات ظهوره في التحميلات.top(table, n): أكبرnأزواج(site, count)، الأكبر أولا، والتعادل أبجديا.cookie_setters(loads): مجموعة المواقع الخارجية التي تحتوي على طلب واحد على الأقل يكونsets_cookieالخاص به صحيحا.tracker_share(loads, tracker_list): كسر الأحمال التي تتصل بموقع واحد على الأقل فيtracker_list.
loads بـ web.visit(site) لكل موقع في web.sites، بالترتيب. تقوم الاختبارات أيضاً بمسح مواقع ويب محاكاة أخرى.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.