Telusuri web simulasi
Kenapa ini penting Menghitung adalah cara kamu mengubah kekhawatiran yang samar ("pelacak ada di mana-mana") menjadi fakta yang bisa kamu cek dan ulangi. Di lab ini kamu menjalankan crawl gaya nyata pada 1.000 situs simulasi dan membangun tabel yang menjadi awal setiap studi pelacakan: pihak ketiga mana yang muncul, dan di berapa banyak situs.
A crawl itu seperti cek stok di toko: lewati setiap lorong, catat setiap barang, lalu jumlahkan. Di sini setiap lorong adalah sebuah site, dan setiap barang adalah request yang dibuat oleh halaman tersebut.
Web simulasi
SimWeb(seed) dari watched.leg7b_web membuat 1,000 situs fiksi, diurutkan berdasarkan popularitas. web.sites mencantumkan nama mereka dan web.visit(site) mengembalikan apa yang dicatat oleh crawler yang terinstrumentasi:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.examplePihak ketiga: situs selain yang sedang kamu kunjungi yang dihubungi oleh halaman tersebut. Jika kamu mengunjungi calmriver.example dan itu memuat t.adco.example, pihak ketiganya adalah adco.example.
Domain yang dapat didaftarkan (situs): bagian dari nama host yang dikontrol oleh satu pemilik, seperti adco.example untuk t.adco.example. site_of(host) menyelesaikannya untukmu; kamu menulisnya sendiri di Tahap 6.
Prevalence: seberapa luas sesuatu menyebar: di sini, jumlah (atau bagian) situs yang dirayapi di mana pihak ketiga muncul.
Menghitung dengan dict, mengurutkan dengan key
A set menyimpan setiap nilai satu kali, yang sangat cocok untuk "pihak ketiga mana saja yang dihubungi halaman ini". Untuk menghitung di seluruh halaman, gunakan dict dan tambahkan satu untuk setiap halaman di mana pihak ketiga muncul. Untuk mengurutkan tabel, urutkan itemnya dengan key: sebuah function yang menentukan apa yang harus diurutkan.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.Perhatikan bahwa pihak ketiga dihitung satu kali per situs, tidak peduli berapa banyak permintaan yang mereka buat di sana. Pelacak yang menjalankan sepuluh pixel pada satu situs tetap dihitung sebagai satu situs.
TRACKER_LIST adalah daftar blokir situs pelacak yang diketahui, seperti cara daftar filter publik melabelinya. Persentase situs yang memuat setidaknya satu pelacak yang terdaftar adalah angka utama dari banyak studi.
A salah kaprah yang umum: "Setiap pihak ketiga adalah pelacak." Font, content delivery networks, dan widget pembayaran juga merupakan pihak ketiga. Tabel kamu akan menunjukkan beberapa pihak ketiga yang paling umum sebenarnya tidak berbahaya, itulah sebabnya studi memberi label dengan hati-hati.
Di bahasa lain
Menghitung prevalensi di JavaScript (Node) dan Go:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}Ringkasan
- A crawl mengunjungi banyak situs dan mencatat setiap request; menghitungnya menjadi fakta.
- Gunakan site_of untuk mengelompokkan host ke dalam site, dan hitung setiap pihak ketiga satu kali per site.
- Urutkan dengan key untuk peringkat berdasarkan prevalensi, pecahkan seri berdasarkan nama.
- Tidak semua pihak ketiga adalah tracker; beri label dengan daftar dan sebutkan daftar mana yang kamu gunakan.
Tulis lima fungsi:
third_parties(load): kumpulan situs (site_of(request["host"])) yang dihubungi halaman, tanpaload["site"].prevalence(loads): sebuah dict dari situs pihak ketiga ke jumlah load tempat ia muncul.top(table, n):n(site, count)terbesar, yang paling besar duluan, jika sama urutkan alfabetis.cookie_setters(loads): kumpulan situs pihak ketiga dengan setidaknya satu permintaan yangsets_cookienya true.tracker_share(loads, tracker_list): fraksi beban yang bersentuhan dengan setidaknya satu situs ditracker_list.
loads dengan web.visit(site) untuk setiap situs di web.sites, secara berurutan. Tes juga menjelajahi web simulasi lainnya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.