पाठ्यक्रम 156 में से पाठ 147 · एक शोधकर्ता की तरह वेब मापें
एक शोधकर्ता की तरह वेब मापें

छिपे trackers ढूँढें

यह क्यों मायने रखता है शोधकर्ताओं को सबसे ज़्यादा चिंतित करने वाले trackers वे हैं जो छिपते हैं: आपकी अपनी साइट के नाम के पीछे, एक ऐसे redirect के अंदर जिस पर आप कभी ध्यान नहीं देते, या एक ऐसी script में जो कभी cookie सेट ही नहीं करती। एक सरल third-party गिनती उन्हें चूक जाती है। यह lab आपके crawl डेटा में तीन तरह के ढूँढता है।

एक ऐसी दुकान की सोचें जहाँ security guard दुकान की अपनी वर्दी पहनता है पर असल में किसी और का कर्मचारी है। "बाहरी कर्मचारी" गिनने वाला एक आगंतुक उन्हें कभी नहीं पहचानता। छिपे trackers ऐसे ही काम करते हैं।

1. CNAME cloaking

DNS: internet की पता पुस्तिका: यह m.calmriver.example जैसे नाम को एक कंप्यूटर के पते में बदलती है।

CNAME: एक DNS record जो कहता है "यह नाम असल में एक दूसरा नाम है"। m.calmriver.example c.cloakco.example का CNAME हो सकता है, इसलिए request first party दिखती है पर एक tracker तक पहुँचती है।

CNAME cloaking: एक tracker का एक CNAME के ज़रिए एक साइट के अपने subdomain के पीछे छिपना, ताकि blocklists और third-party cookie नियम एक first-party नाम देखें।

crawl records में हर request का cname है: DNS कहता है host असल में कहाँ इशारा करता है, या None। एक छिपी request का host पन्ने की अपनी साइट पर होता है, और CNAME एक सूचीबद्ध tracker पर। सावधान: कई साइटें subdomains को edge.cdn.example जैसे एक content delivery network की ओर करती हैं। यह सामान्य है, इसलिए CNAME की साइट को TRACKER_LIST से जाँचें।

Safari CNAME-cloaked responses से सेट cookies को 7 दिन तक सीमित करता है, और Firefox blocking extensions को उन्हें बेनक़ाब करने के लिए CNAMEs खोजने देता है; Chrome extensions वह खोज नहीं कर सकते (अक्टूबर 2026 में जाँचा)।

2. Bounce chains

जब आप एक link पर click करते हैं, तो वह रास्ते में एक tracker के redirect से गुज़र सकता है, उसे अपनी first-party cookie सेट या पढ़ने देते हुए। आप bounce tracking से चरण 6 में मिले; यहाँ आप उसे बड़े पैमाने पर गिनते हैं। हर record में click_chain है: वे URLs जिनसे crawler पन्ने के पहले बाहरी link पर click करने के बाद गुज़रा। एक बीच का hop bounce है अगर उसकी साइट शुरुआती साइट और आख़िरी साइट दोनों से अलग हो। अपने /out पन्ने से redirect करती एक साइट bounce नहीं है।

3. Fingerprinting scripts

एक instrumented crawler scripts में दर्ज करता है कि हर script ने कौन-से ब्राउज़र features इस्तेमाल किए। प्रकाशित अध्ययनों के तरीके का पालन करते हुए, एक script संदिग्ध है जब वह दोनों करे: एक drawing या ध्वनि वापस पढ़े (CANVAS_READS) और कम से कम 4 अलग device गुण पढ़े (TRAIT_APIS)। एक drawing ऐप जो बस आपकी तस्वीर export करता है canvas इस्तेमाल करता है पर कम गुण पढ़ता है, इसलिए वह नहीं गिना जाता।

from watched.leg7b_web import CANVAS_READS, TRAIT_APIS
apis = ["canvas.toDataURL", "navigator.userAgent", "screen.width",
        "navigator.languages", "Intl.timeZone"]
reads_canvas = any(a in CANVAS_READS for a in apis)
traits = {a for a in apis if a in TRAIT_APIS}      # a set: each trait once
print(reads_canvas, len(traits))                   # True 4

साइट के अपने host से दी गई fingerprinting पर ध्यान दें। कोई third-party सूची उसे नहीं पकड़ती; सिर्फ़ बर्ताव पकड़ता है।

एक आम ग़लतफ़हमी: "अगर मेरा blocker शून्य third-party trackers दिखाता है, तो कुछ मुझे track नहीं करता।" छिपे, bounce किए और first-party fingerprinting trackers सब third-party नामों की सूची से निकल जाते हैं। बर्ताव-आधारित जाँचें, जैसी आप यहाँ लिखते हैं, वह तरीका हैं जिससे ब्राउज़र और शोधकर्ता उन्हें ढूँढते हैं।

दूसरी भाषाओं में

JavaScript और PHP में fingerprinting नियम:

// JavaScript
function isFingerprinting(apis) {
  const readsCanvas = apis.some(a => CANVAS_READS.includes(a));
  const traits = new Set(apis.filter(a => TRAIT_APIS.includes(a)));
  return readsCanvas && traits.size >= 4;
}
// PHP
function is_fingerprinting(array $apis): bool {
    $reads = count(array_intersect($apis, CANVAS_READS)) > 0;
    $traits = count(array_unique(array_intersect($apis, TRAIT_APIS)));
    return $reads && $traits >= 4;
}

सार

  • CNAME cloaking एक tracker को साइट के अपने subdomain के पीछे छिपाता है; जाँचें कि CNAME असल में कहाँ इशारा करता है।
  • एक bounce एक ऐसी साइट पर redirect hop है जो न वहाँ है जहाँ आपने शुरू किया न जहाँ ख़त्म किया।
  • Fingerprinting बर्ताव में दिखता है: एक canvas या audio readback और कई device गुण।
  • बर्ताव वह ढूँढता है जो नाम सूचियाँ चूकती हैं, first-party fingerprinting समेत।
आपकी बारी

crawl records पर पाँच functions लिखें:

  1. cloaked_hosts(load, tracker_list): पन्ने की अपनी साइट पर अलग request hosts की sorted सूची जिनका cname सेट है और जिनके CNAME की साइट tracker_list में है।
  2. bounce_hops(load): load["click_chain"] से, बीच के उन hops की साइटें जो पहले और आख़िरी URL की साइट दोनों से अलग हैं (chain 3 से छोटी हो तो एक ख़ाली सूची)।
  3. is_fingerprinting(apis): सही अगर कोई API CANVAS_READS में है और कम से कम 4 अलग APIs TRAIT_APIS में हैं।
  4. fingerprinting_scripts(load): load["scripts"] की उन scripts के URLs जो वह test पास करती हैं।
  5. hidden_report(loads, tracker_list): हर प्रकार वाली साइटें गिनता एक dict: "cname_cloaking", "bounce", "fingerprinting" और "first_party_fingerprinting" (पन्ने की अपनी साइट पर एक fingerprinting script)।
फिर पूरे crawl के लिए report सेट करें। Tests दूसरे simulated वेब भी crawl करते हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।