simulated वेब crawl करें
यह क्यों मायने रखता है गिनना वह तरीका है जिससे आप एक धुंधली चिंता ("trackers हर जगह हैं") को एक ऐसे तथ्य में बदलते हैं जिसे आप जाँच और दोहरा सकें। इस lab में आप 1,000 simulated साइटों पर एक असली-शैली का crawl चलाते हैं और वह table बनाते हैं जिससे हर tracking अध्ययन शुरू होता है: कौन-सी third parties दिखती हैं, और कितनी साइटों पर।
एक crawl एक दुकान में stock जाँच जैसा है: हर गलियारे में चलें, हर item लिखें, फिर जोड़ें। यहाँ हर गलियारा एक साइट है, और हर item पन्ने की की गई एक request।
simulated वेब
watched.leg7b_web से SimWeb(seed) लोकप्रियता से ranked 1,000 काल्पनिक साइटें बनाता है। web.sites उनके नाम सूचीबद्ध करता है और web.visit(site) वह लौटाता है जो एक instrumented crawler ने दर्ज किया:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleThird party: जिस साइट पर आप जा रहे हैं उसके अलावा कोई साइट जिससे पन्ना संपर्क करता है। अगर आप calmriver.example पर जाते हैं और वह t.adco.example load करता है, तो third party adco.example है।
Registrable domain (साइट): एक host नाम का वह हिस्सा जिसे एक मालिक नियंत्रित करता है, जैसे t.adco.example के लिए adco.example। site_of(host) इसे आपके लिए निकालता है; आपने इसे चरण 6 में ख़ुद लिखा।
Prevalence: कुछ कितना फैला है: यहाँ, crawl की गई साइटों की वह संख्या (या हिस्सा) जिन पर एक third party दिखती है।
एक dict से गिनना, एक key से sort करना
एक set हर मान एक बार रखता है, जो "इस पन्ने ने किन third parties से संपर्क किया" के लिए एकदम सही है। पन्नों के पार गिनने के लिए, एक dict इस्तेमाल करें और हर उस पन्ने के लिए एक जोड़ें जिस पर एक third party दिखे। table sort करने के लिए उसके items को एक key से sort करें: एक function जो बताए कि किससे sort करना है।
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.ध्यान दें कि एक third party हर साइट पर एक बार गिनी जाती है, वह वहाँ चाहे कितनी भी requests करे। एक साइट पर दस pixels चलाने वाला tracker फिर भी एक साइट पर है।
TRACKER_LIST जाने-माने tracker साइटों की एक blocklist है, वैसे जैसे सार्वजनिक filter सूचियाँ उन पर label लगाती हैं। कम से कम एक सूचीबद्ध tracker load करने वाली साइटों का हिस्सा कई अध्ययनों की सुर्ख़ी वाली संख्या है।
एक आम ग़लतफ़हमी: "हर third party एक tracker है।" Fonts, content delivery networks और payment widgets भी third parties हैं। आपकी table दिखाएगी कि कुछ सबसे आम third parties हानिरहित हैं, इसीलिए अध्ययन सावधानी से label करते हैं।
दूसरी भाषाओं में
JavaScript (Node) और Go में prevalence गिनना:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}सार
- एक crawl कई साइटों पर जाता है और हर request दर्ज करता है; गिनना उसे तथ्यों में बदलता है।
- hosts को साइटों में समूहित करने के लिए site_of इस्तेमाल करें, और हर third party को हर साइट पर एक बार गिनें।
- prevalence से rank करने के लिए एक key से sort करें, बराबरी नाम से तोड़ते हुए।
- हर third party एक tracker नहीं; एक सूची से label करें और बताएँ कि कौन-सी सूची इस्तेमाल की।
पाँच functions लिखें:
third_parties(load): उन साइटों (site_of(request["host"])) का set जिनसे पन्ने ने संपर्क किया,load["site"]के बिना।prevalence(loads): third-party साइट से उन loads की संख्या तक एक dict जिनमें वह दिखती है।top(table, n):nसबसे बड़े(site, count)जोड़े, सबसे बड़ा पहले, बराबरी वर्णक्रम में।cookie_setters(loads): उन third-party साइटों का set जिनकी कम से कम एक request काsets_cookieसही है।tracker_share(loads, tracker_list): उन loads का हिस्सा जोtracker_listकी कम से कम एक साइट से संपर्क करते हैं।
web.sites की हर साइट के लिए web.visit(site) से loads भरें, क्रम में। Tests दूसरे simulated वेब भी crawl करते हैं।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।