पाठ्यक्रम 156 में से पाठ 71 · आपकी अपनी साइट पर third parties
आपकी अपनी साइट पर third parties

एक साइट की third parties की जाँच करें

यह क्यों मायने रखता है जो आपने गिना नहीं उसे आप ठीक नहीं कर सकते। एक साइट पर कुछ भी बदलने से पहले, निजता engineers एक page load पकड़ते हैं और हर उस बाहरी server की सूची बनाते हैं जिससे उसने बात की। इस अभ्यास में आप वह जाँच ख़ुद, Python की कुछ पंक्तियों में, लिखते हैं, और आप इस विचार को चरण 3 प्रोजेक्ट में फिर इस्तेमाल करेंगे।

कैफ़े के दरवाज़े पर एक मेहमान रजिस्टर की सोचें। दिन के अंत में आप उसे पढ़ते हैं और पूछते हैं: कौन अंदर आया, कितनी बार, और क्या किसी ने कुछ छोड़ा? एक request log वेबसाइट का मेहमान रजिस्टर है।

HAR फ़ाइल: HTTP Archive का छोटा रूप। DevTools एक पन्ने की हर request एक फ़ाइल में सहेज सकता है (Network tab, right-click, "Save all as HAR")। हर entry URL, request का प्रकार, उसके headers, status और सेट हुई कोई भी cookies बताती है। हमारा अभ्यास ब्राउज़र आपको browser.har() से वही चीज़ dicts की एक सूची के रूप में देता है।

अभ्यास दुनिया की एक entry ऐसी दिखती है (छाँटी हुई):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

असली HAR फ़ाइलों में top_site नहीं होता; आप उसे पन्ने के URL से पढ़ते। हमारा log code छोटा रखने के लिए इसे जोड़ता है।

तीन सवाल जिनका एक जाँच जवाब देती है

  1. क्या यह request एक third party को है? URL की साइट की तुलना top_site से करें। पूरा host नहीं, साइट इस्तेमाल करें: img.shopb.example shopb.example का है, इसलिए वह first party है।
  2. हर बाहरी host को कितना मिलता है? उसकी requests गिनें और नोट करें कि उसने cookies सेट कीं या नहीं।
  3. कौन साइटों के पार लोगों को देखता है? एक host जो दो या ज़्यादा अलग top_site मानों के नीचे दिखता है visits जोड़ सकता है। पहले उन्हीं को देखना है।

अभ्यास दुनिया के दो helpers आपके लिए URL का काम करते हैं: host_of(url) host देता है ("img.shopb.example"), और site_of(url) registrable साइट देता है ("shopb.example")।

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

हर host की एक गिनती बनाने के लिए dict method setdefault(key, default) काम का है: यह key का मान लौटाता है, key नई हो तो पहले default रखकर।

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

एक आम ग़लतफ़हमी: "जो host cookies सेट नहीं करता वह हानिरहित है"। हर साइट पर दिखने वाला एक host फिर भी हर बार IP address और ब्राउज़र देखता है, और cookie के बजाय URL में अपनी ID भेज सकता है। सिर्फ़ cookies नहीं, requests और साइटें गिनें।

दूसरी भाषाओं में

DevTools से export की गई एक HAR फ़ाइल पर वही जाँच। असली HAR फ़ाइलें entries को log.entries के नीचे रखती हैं।

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

साइट सही पाने के लिए Public Suffix List चाहिए (ताकि a.co.uk को co.uk का हिस्सा न माना जाए)। dots पर बाँटने के बजाय JavaScript में tldts या Go में golang.org/x/net/publicsuffix जैसी एक library इस्तेमाल करें।

सार

  • एक request log (HAR) एक साइट का मेहमान रजिस्टर है: हर बाहरी server जिससे एक page load ने संपर्क किया।
  • Third party का मतलब address bar से एक अलग साइट है, सिर्फ़ एक अलग host नाम नहीं।
  • कई अलग साइटों के नीचे दिखे hosts वही हैं जो visits जोड़ सकते हैं।
आपकी बारी

starter code आपके लिए एक अभ्यास log पकड़ता है: Sam 12 दुकान पन्ने browse करता है जबकि AdCo एक ID cookie सेट करता है। तीन functions लिखें:

  1. is_third_party(entry): True लौटाएँ जब site_of(entry["url"]) entry["top_site"] से अलग हो, नहीं तो False।
  2. audit(har): सूची पर चलें और हर third-party entry के लिए host_of(entry["url"]) से key किया एक dict बनाएँ। हर मान एक dict है जिसमें "requests" (कितनी entries उस host को गईं), "sites" (उन अलग top_site मानों की एक sorted सूची जिनके नीचे वह दिखा) और "sets_cookies" (True अगर उसकी किसी entry की set_cookies सूची ख़ाली नहीं) हैं। dict लौटाएँ। First-party entries छोड़ दी जाती हैं।
  3. watchers(report): audit का dict दिए जाने पर, दो या ज़्यादा साइटों के नीचे दिखे hosts की एक सूची लौटाएँ, वर्णक्रम में sorted।
आख़िर में हर watcher को उसकी request गिनती के साथ print करें। Tests दूसरे logs इस्तेमाल करते हैं, इसलिए जवाब हाथ से टाइप नहीं किया जा सकता।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।