Audit pihak ketiga sebuah situs
Kenapa ini penting Kamu tidak bisa memperbaiki apa yang tidak kamu hitung. Sebelum mengubah apa pun pada sebuah situs, privacy engineers menangkap pemuatan halaman dan mencatat setiap server luar yang dihubungi. Dalam latihan ini kamu menulis audit itu sendiri, dalam beberapa baris Python, dan kamu akan menggunakan kembali ide ini di proyek Tahap 3.
Bayangkan buku tamu di pintu kafe. Di akhir hari kamu membacanya dan bertanya: siapa yang datang, seberapa sering, dan apakah ada yang meninggalkan sesuatu? Log permintaan adalah buku tamu situs web tersebut.
HAR file: singkatan dari HTTP Archive. DevTools bisa menyimpan setiap request yang dibuat halaman ke dalam satu file (tab Network, klik kanan, "Save all as HAR"). Setiap entri mencantumkan URL, jenis request, headers, status, dan cookies yang diatur. Browser latihan kita memberikan hal yang sama sebagai daftar dict dengan browser.har().
Satu entri dari dunia latihan terlihat seperti ini (dipotong):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}File HAR asli tidak punya top_site; kamu harus membacanya dari URL halaman. Log kita menambahkannya supaya kode tetap pendek.
Tiga pertanyaan yang dijawab oleh audit
- Apakah permintaan ini ke pihak ketiga? Bandingkan site dari URL dengan
top_site. Gunakan site, bukan host lengkap:img.shopb.examplemilikshopb.example, jadi ini pihak pertama. - Berapa banyak yang didapat setiap host luar? Hitung request nya dan catat apakah ia mengatur cookies.
- Siapa yang melihat orang di berbagai situs? Host yang muncul di bawah dua atau lebih nilai
top_siteyang berbeda bisa menghubungkan kunjungan. Itu yang harus dilihat pertama kali.
Dua pembantu dari dunia praktik mengerjakan tugas URL untukmu: host_of(url) memberikan host ("img.shopb.example"), dan site_of(url) memberikan situs yang bisa didaftarkan ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.exampleUntuk membuat hitungan per host, metode dict setdefault(key, default) sangat berguna: ini mengembalikan nilai untuk key, pertama kali menyimpan default jika kuncinya baru.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}Kesalahpahaman umum: "host yang tidak menyetel cookie itu tidak berbahaya". Host yang muncul di setiap situs tetap melihat alamat IP dan browser setiap saat, dan bisa mengirim ID miliknya sendiri di URL alih-alih cookie. Hitung permintaan dan situs, bukan hanya cookie.
Di bahasa lain
Audit yang sama pada file HAR yang diekspor dari DevTools. File HAR asli menyimpan entri di bawah log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());Mendapatkan site yang benar butuh Public Suffix List (jadi a.co.uk tidak dianggap sebagai bagian dari co.uk). Gunakan library seperti tldts di JavaScript atau golang.org/x/net/publicsuffix di Go daripada membagi berdasarkan titik.
Ringkasan
- Log permintaan
- A (HAR) adalah buku tamu sebuah situs: setiap server luar yang dihubungi saat memuat halaman.
- Pihak ketiga berarti situs yang berbeda dari baris alamat, bukan sekadar nama host yang berbeda.
- Host yang terlihat di beberapa situs berbeda adalah yang bisa menghubungkan kunjungan.
Kode awal mencatat log latihan untukmu: Sam melihat 12 halaman toko sementara AdCo mengatur cookie ID. Tulis tiga fungsi:
is_third_party(entry): kembalikanTruesaatsite_of(entry["url"])berbeda darientry["top_site"], jika tidakFalse.audit(har): telusuri daftar dan, untuk setiap third-party entri, buat dict dengan kuncihost_of(entry["url"]). Setiap nilai adalah dict dengan"requests"(berapa banyak entri yang pergi ke host itu),"sites"(daftar sorted dari berbagaitop_sitenilai yang terlihat) dan"sets_cookies"(Truejika ada entrinya yang punyaset_cookieslist tidak kosong). Kembalikan dict tersebut. Entri first-party diabaikan.watchers(report): dari dict dariaudit, kembalikan list host yang terlihat di bawah two or more situs, diurutkan secara alfabetis.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.