Müfredat 156 dersinden 71. · Kendi sitendeki üçüncü taraflar
Kendi sitendeki üçüncü taraflar

Bir sitenin üçüncü taraf hizmetlerini denetle

Neden önemli Saymadığın şeyi düzeltemezsin. Bir sitede herhangi bir şeyi değiştirmeden önce, gizlilik mühendisleri bir sayfa yüklemesini yakalar ve konuştuğu her dış sunucuyu listeler. Bu egzersizde bu denetimi birkaç satır Python ile kendin yazacaksın ve bu fikri Etap 3 projesinde tekrar kullanacaksın.

Kafe kapısındaki bir misafir defterini düşün. Günün sonunda onu okur ve şunu sorarsın: kimler geldi, ne sıklıkla geldi ve birisi bir şey bırakıp gitti mi? Bir request log, web sitesinin misafir defteridir.

HAR file: HTTP Archive için kısaltma. DevTools, bir sayfanın yaptığı her isteği tek bir dosyaya kaydedebilir (Network sekmesi, sağ tık, "Save all as HAR"). Her girdi URL'yi, istek türünü, başlıklarını, durumunu ve ayarlanan çerezleri listeler. Pratik tarayıcımız sana browser.har().

içeren bir sözlükler listesi olarak aynı şeyi verir.

Pratik dünyasından bir giriş şu şekilde görünüyor (kısaltılmış):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

Gerçek HAR dosyalarında top_site bulunmaz; bunu sayfa URL'sinden okursun. Log dosyamız kodu kısa tutmak için onu ekler.

Denetimin cevapladığı üç soru

  1. Bu istek üçüncü bir tarafa mı? URL'nin site kısmını top_site ile karşılaştır. Tam host yerine siteyi kullan: img.shopb.example shopb.example'ye aittir, bu yüzden birinci taraftır.
  2. Her dış sunucu ne kadar alıyor? İsteklerini say ve çerezleri ayarlayıp ayarlamadığını not et.
  3. Siteler arası insanları kim görüyor? İki veya daha fazla farklı top_site değerinde görünen bir host ziyaretleri bağlayabilir. İlk bakman gerekenler bunlardır.

Pratik dünyadan iki yardımcı senin için URL işini halleder: host_of(url) hostu ("img.shopb.example") verir, site_of(url) ise kaydedilebilir siteyi ("shopb.example") verir.

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Host başına bir adet sayısını oluşturmak için setdefault(key, default) dict yöntemi kullanışlıdır: key için değeri döndürür, eğer anahtar yeniyse önce default değerini kaydeder.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

A yaygın bir yanlış anlaşılma: "çerez ayarlamayan bir host zararsızdır". Her sitede görünen bir host hala her seferinde IP adresini ve tarayıcıyı görür ve bir çerez yerine URL içinde kendi ID'sini gönderebilir. Sadece çerezleri değil, istekleri ve siteleri say.

Diğer dillerde

DevTools'tan dışa aktarılan bir HAR dosyası üzerinde aynı denetim. Gerçek HAR dosyaları log.entries altındaki kayıtları tutar.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

site kısmını doğru almak için Public Suffix List gerekiyor (böylece a.co.uk bir co.uk parçası olarak işlenmez). Noktalara göre bölmek yerine JavaScript için tldts veya Go için golang.org/x/net/publicsuffix gibi bir kütüphane kullan.

Özet

  • A request log (HAR) bir sitenin misafir defteridir: her sayfa yüklemesinde hangi dış sunucuyla iletişim kurulduğunu gösterir.
  • Üçüncü taraf, sadece farklı bir host adı değil, adres çubuğundan farklı bir site anlamına gelir.
  • Farklı sitelerde görülen hostlar, ziyaretleri bağlayabilenlerdir.
Senin sıran

Başlangıç kodu senin için bir uygulama günlüğü tutuyor: Sam 12 mağaza sayfasını gezerken AdCo bir ID çerezi ayarlar. Üç fonksiyon yaz:

  1. is_third_party(entry): site_of(entry["url"]), entry["top_site"]'den farklıysa True, aksi takdirde False.
  2. döndür.
  3. audit(har): listeyi gözden geçir ve her third-party girişi için host_of(entry["url"]) anahtarlı bir dict oluştur. Her değer, "requests" (kaç giriş o hosta gitti), "sites" (görüldüğü farklı top_site değerlerinin sorted listesi) ve "sets_cookies" (True girişlerinden herhangi birinin boş olmayan bir set_cookies listesi olup olmadığı) içeren bir dict olsun. Dicti döndür. First-party girişleri hariç tut.
  4. watchers(report): audit sözlüğünü kullanarak, iki veya daha fazla sitesinde görülen hostların alfabetik olarak sıralanmış bir listesini döndür.
Son olarak her watcher'ı kendi request count değeriyle birlikte yazdır. Testler başka loglar kullanıyor, bu yüzden cevap elle girilemez.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.