Silabus Pelajaran 48 dari 156 · Buat pemblokir
Buat pemblokir

Deteksi tracker tanpa daftar

Kenapa ini penting Sebuah daftar hanya tahu tracker yang sudah ditemukan dan dicatat orang lain. Tracker baru muncul setiap minggu, dan beberapa sengaja mengubah namanya. Mengenali tracker dari perilakunya menangkap tracker yang belum diketahui daftar mana pun.

Melihat pencuri toko tanpa foto

Penjaga toko dengan daftar pencuri toko yang dikenal itu berguna. Tapi penjaga yang baik juga mengawasi perilaku: seseorang yang mengunjungi setiap toko di jalan dan mencatat siapa yang masuk. Kamu tidak butuh nama mereka untuk melihat apa yang mereka lakukan.

Trackers juga punya perilaku yang mencolok. Di pelajaran ini kamu akan mencari tiga petunjuk di log permintaan browser:

  1. Di mana saja sekaligus. Situs pihak ketiga yang sama muncul di dua atau lebih situs yang berbeda. Itulah yang membuatnya bisa menggabungkan kunjunganmu.
  2. ID unik di alamat. Nilai kueri seperti cid=df0641532d7f yang terlihat acak: itu adalah tag nama untuk kamu.
  3. piksel. Sebuah "gambar" dengan ukuran 100 byte atau kurang, terlalu kecil untuk menampilkan apa pun. Tugasnya hanya untuk membuat browser kamu mengirim permintaan.

Heuristic: aturan praktis yang biasanya benar tapi tidak selalu, seperti "awan gelap berarti hujan". Heuristics bisa menangkap hal baru, dan mereka juga bisa terkecoh.

Aturan kita: sebuah situs adalah tracker jika petunjuk 1 benar dan setidaknya salah satu dari petunjuk 2 atau 3 benar. Mewajibkan petunjuk 1 menjaga cdn.example yang tidak berbahaya: itu ada di setiap toko, tapi tidak mengirim ID dan logonya adalah gambar 2 KB yang asli.

Seberapa acak sebenarnya acak? Entropi, singkatnya

Untuk membedakan ID dari kata biasa, kita mengukur seberapa acak karakternya. aaaa sama sekali tidak acak. abcd menggunakan empat karakter berbeda secara merata.

Shannon entropy: angka untuk seberapa tidak terprediksi sesuatu, dalam bit. Untuk teks: untuk setiap karakter berbeda, ambil bagian p dari teks, dan jumlahkan -p * log2(p). Lebih banyak variasi memberi lebih banyak bit.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) adalah "berapa kali aku membagi dua 1 untuk mendapatkan p", diberikan sebagai angka negatif, itulah sebabnya ada tanda minus. collections.Counter(text) menghitung setiap karakter untukmu. Kamu akan bertemu rumus yang sama lagi, diterapkan ke seluruh kerumunan browser, di modul berikutnya.

Entropy saja tidak cukup: trail-shoes juga cukup campur aduk. Jadi looks_like_id juga meminta setidaknya 8 karakter, hanya huruf, angka, - atau _, dan setidaknya satu huruf dan satu angka. Kata-kata gagal dalam tes angka; tanggal dan URL gagal dalam tes huruf atau karakter.

Membaca log

Setiap record di browser.log punya apa yang kamu butuhkan:

  • site_of(record.url) dan record.top_site: jika berbeda, itu pihak ketiga.
  • record.request.params: query sebagai dict, sudah didekode.
  • record.response: None jika terblokir; jika tidak, .header("Content-Type") dan .size dalam bytes.

Batasan jujur

A tracker di satu situs saja di log kamu bisa lolos, meskipun ada di ribuan situs yang belum kamu kunjungi. Tracker yang menyembunyikan ID di cookie dan mengirim gambar ukuran normal juga bisa lolos. Dan skrip analytics pihak pertama yang mengirim ID ke situsnya sendiri sama sekali bukan pihak ketiga. Itulah kenapa pemblokir asli menggunakan daftar dan heuristik bersamaan.

Coba sendiri Buka DevTools (F12, atau Cmd+Option+I di Mac), buka tab Network, filter berdasarkan Img, dan buka situs berita. Urutkan berdasarkan Size. Kolom Size juga menghitung header respons, jadi gambar piksel yang hanya beberapa puluh byte tetap terlihat seperti beberapa ratus. Gambar sekecil itu dari situs lain kemungkinan besar adalah piksel. Klik satu dan lihat query string nya untuk nilai acak yang panjang.

Di bahasa lain

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

Ringkasan

  • Behaviour membocorkan pelacak: ada di banyak situs, mengirim ID acak, mengambil pixel.
  • Shannon entropy mengukur seberapa acak sebuah teks; ID acak mendapat skor tinggi.
  • Memerlukan "di 2 atau lebih situs" melindungi pembantu yang tidak berbahaya seperti CDN.
  • Heuristics menangkap pelacak baru tapi melewatkan beberapa; pemblokir asli menggabungkannya dengan daftar.
Giliranku

Tulis char_entropy(text) (Shannon entropy dalam bit per karakter, 0.0 untuk teks kosong), looks_like_id(value) (minimal 8 karakter, semua dalam ID_CHARS, minimal satu angka dan satu huruf, entropi minimal 2.0), is_pixel(record) (respons dengan Content-Type yang dimulai dengan image/ dan ukuran 100 byte atau kurang) dan find_trackers(log), mengembalikan set situs yang muncul sebagai pihak ketiga di setidaknya 2 situs teratas yang berbeda dan mengirimkan nilai kueri mirip ID atau menerima pixel. Jangan gunakan watched.reference.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.