Silabus Pelajaran 71 dari 156 · Pihak ketiga di situsmu sendiri
Pihak ketiga di situsmu sendiri

Audit pihak ketiga sebuah situs

Kenapa ini penting Kamu tidak bisa memperbaiki apa yang tidak kamu hitung. Sebelum mengubah apa pun pada sebuah situs, privacy engineers menangkap pemuatan halaman dan mencatat setiap server luar yang dihubungi. Dalam latihan ini kamu menulis audit itu sendiri, dalam beberapa baris Python, dan kamu akan menggunakan kembali ide ini di proyek Tahap 3.

Bayangkan buku tamu di pintu kafe. Di akhir hari kamu membacanya dan bertanya: siapa yang datang, seberapa sering, dan apakah ada yang meninggalkan sesuatu? Log permintaan adalah buku tamu situs web tersebut.

HAR file: singkatan dari HTTP Archive. DevTools bisa menyimpan setiap request yang dibuat halaman ke dalam satu file (tab Network, klik kanan, "Save all as HAR"). Setiap entri mencantumkan URL, jenis request, headers, status, dan cookies yang diatur. Browser latihan kita memberikan hal yang sama sebagai daftar dict dengan browser.har().

Satu entri dari dunia latihan terlihat seperti ini (dipotong):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

File HAR asli tidak punya top_site; kamu harus membacanya dari URL halaman. Log kita menambahkannya supaya kode tetap pendek.

Tiga pertanyaan yang dijawab oleh audit

  1. Apakah permintaan ini ke pihak ketiga? Bandingkan site dari URL dengan top_site. Gunakan site, bukan host lengkap: img.shopb.example milik shopb.example, jadi ini pihak pertama.
  2. Berapa banyak yang didapat setiap host luar? Hitung request nya dan catat apakah ia mengatur cookies.
  3. Siapa yang melihat orang di berbagai situs? Host yang muncul di bawah dua atau lebih nilai top_site yang berbeda bisa menghubungkan kunjungan. Itu yang harus dilihat pertama kali.

Dua pembantu dari dunia praktik mengerjakan tugas URL untukmu: host_of(url) memberikan host ("img.shopb.example"), dan site_of(url) memberikan situs yang bisa didaftarkan ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Untuk membuat hitungan per host, metode dict setdefault(key, default) sangat berguna: ini mengembalikan nilai untuk key, pertama kali menyimpan default jika kuncinya baru.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

Kesalahpahaman umum: "host yang tidak menyetel cookie itu tidak berbahaya". Host yang muncul di setiap situs tetap melihat alamat IP dan browser setiap saat, dan bisa mengirim ID miliknya sendiri di URL alih-alih cookie. Hitung permintaan dan situs, bukan hanya cookie.

Di bahasa lain

Audit yang sama pada file HAR yang diekspor dari DevTools. File HAR asli menyimpan entri di bawah log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Mendapatkan site yang benar butuh Public Suffix List (jadi a.co.uk tidak dianggap sebagai bagian dari co.uk). Gunakan library seperti tldts di JavaScript atau golang.org/x/net/publicsuffix di Go daripada membagi berdasarkan titik.

Ringkasan

    Log permintaan
  • A (HAR) adalah buku tamu sebuah situs: setiap server luar yang dihubungi saat memuat halaman.
  • Pihak ketiga berarti situs yang berbeda dari baris alamat, bukan sekadar nama host yang berbeda.
  • Host yang terlihat di beberapa situs berbeda adalah yang bisa menghubungkan kunjungan.
Giliranku

Kode awal mencatat log latihan untukmu: Sam melihat 12 halaman toko sementara AdCo mengatur cookie ID. Tulis tiga fungsi:

  1. is_third_party(entry): kembalikan True saat site_of(entry["url"]) berbeda dari entry["top_site"], jika tidak False.
  2. audit(har): telusuri daftar dan, untuk setiap third-party entri, buat dict dengan kunci host_of(entry["url"]). Setiap nilai adalah dict dengan "requests" (berapa banyak entri yang pergi ke host itu), "sites" (daftar sorted dari berbagai top_site nilai yang terlihat) dan "sets_cookies" (True jika ada entrinya yang punya set_cookies list tidak kosong). Kembalikan dict tersebut. Entri first-party diabaikan.
  3. watchers(report): dari dict dari audit, kembalikan list host yang terlihat di bawah two or more situs, diurutkan secara alfabetis.
Akhirnya cetak setiap watcher dengan jumlah request nya. Tes menggunakan log lain, jadi jawabannya tidak bisa diketik manual.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.