Silabus Pelajaran 46 dari 156 · Buat pemblokir
Buat pemblokir

Cara kerja blocklist

Kenapa ini penting Sebagian besar pemblokiran pelacak di dunia saat ini, di ekstensi maupun di browser, dimulai dari file teks biasa berisi aturan. Begitu kamu bisa membaca file itu, kamu bisa melihat persis apa yang akan dan tidak akan dihentikan oleh sebuah pemblokir, dan kenapa sebuah situs kadang rusak.

Penjaga pintu dengan daftar

Bayangkan penjaga pintu klub yang memegang daftar tercetak: "jangan biarkan orang-orang ini masuk", ditambah catatan singkat: "kecuali para pelanggan tetap ini". Penjaga itu tidak menilai siapa pun; ia hanya mencocokkan nama dengan daftar.

Pemblokir bekerja dengan cara yang sama. Setiap kali sebuah halaman meminta sesuatu (sebuah skrip, sebuah gambar, sebuah piksel), pemblokir mencocokkan alamatnya dengan daftar dan berkata izinkan atau blokir.

Daftar filter: file teks berisi aturan, satu per baris, yang memberi tahu pemblokir permintaan mana yang dihentikan. Keluarga yang paling dikenal adalah EasyList, ditulis dengan sintaks Adblock Plus yang dipahami sebagian besar pemblokir.

Permintaan: satu permintaan dari browsermu ke sebuah server, seperti "kirimi saya https://adco.example/tag.js". Satu halaman biasanya membuat banyak permintaan.

Sintaksnya, subset latihan kecil

Daftar sungguhan punya puluhan ribu baris dan banyak fitur tambahan. Kita memakai daftar latihan kecil yang dikarang, dengan sintaks inti yang sama. Ini dia (tersimpan di watched.leg2b_blocker.PRACTICE_LIST):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
Barisnya sepertiArtinya
! ... atau [...]Komentar atau header. Lewati.
||adco.example^Aturan domain: blokir adco.example dan setiap subdomainnya, seperti img.adco.example. Tanda ^ menandai akhir nama host.
/p.gif?Aturan pola: blokir alamat apa pun yang berisi teks ini. * di dalamnya berarti "karakter apa saja di sini".
@@...Pengecualian: izinkan, walaupun ada aturan blokir yang juga cocok.
...$third-partyOpsi: terapkan aturan ini hanya kalau permintaannya menuju situs yang berbeda dari halaman tempatmu berada.
##.ad-bannerAturan kosmetik: sembunyikan bagian halaman. Ia tidak pernah menghentikan permintaan, jadi pemblokir jaringan melewatinya.

Pihak ketiga: permintaan ke situs yang berbeda dari situs di bilah alamatmu. Di shopa.example, permintaan ke adco.example adalah pihak ketiga; permintaan ke shopa.example sendiri adalah pihak pertama.

Mengubah baris menjadi data

Program tidak mau membaca ulang teksnya untuk setiap permintaan. Jadi pekerjaan pertama adalah parsing: mengubah setiap baris menjadi dict kecil sekali saja, saat mulai.

Parsing: membaca teks dan mengubahnya menjadi data terstruktur yang bisa langsung dipakai program, seperti mengubah daftar belanja tulisan tangan menjadi kotak-kotak yang dicentang di sebuah formulir.

Dict aturan kita punya empat kunci:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

Dua alat string Python melakukan sebagian besar pekerjaannya. line.startswith("@@") memeriksa bagaimana sebuah baris dimulai. line.rsplit("$", 1) membelah sekali di $ yang terakhir, memberi teks aturan dan opsinya, jadi "a$b".rsplit("$", 1) adalah ["a", "b"].

Kesalahpahaman umum

"Daftar blokir memblokir iklan." Banyak yang begitu, tetapi daftar yang penting untuk privasi (seperti EasyPrivacy) menyasar pelacak: piksel, beacon, dan skrip analitik, yang tidak pernah kamu lihat di layar. Sebuah halaman bisa tidak menampilkan iklan sama sekali dan tetap mengirim kunjunganmu ke lima perusahaan.

Coba sendiri Di browser desktop yang memasang ekstensi pemblokir, buka pengaturan ekstensinya dan temukan daftar filternya. Sebagian besar membolehkanmu melihat daftar sebagai teks biasa. Cari baris yang diawali || dan @@: itulah persis aturan yang akan kamu parsing.

Di bahasa lain

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

Ringkasan

  • Daftar filter adalah teks biasa: aturan domain (||host^), aturan pola, pengecualian (@@), dan opsi ($third-party).
  • Aturan kosmetik (##) menyembunyikan bagian halaman dan tidak pernah menghentikan permintaan.
  • Parsing sekali menjadi dict sederhana supaya pencocokan nanti cepat dan jelas.
Giliranku

Tulis parse_rule(line) yang mengembalikan None untuk baris kosong, komentar (!), header ([) dan kosmetik (## atau #@#), dan jika tidak, sebuah dict dengan kunci exception, kind ("domain" atau "pattern"), value (huruf kecil, tanpa ||, ^ di akhir, @@ atau $options) dan third_party. Lalu tulis parse_list(text) yang mengembalikan daftar aturan untuk setiap baris, secara berurutan, tanpa menyertakan hasil None. Jangan impor parser milik kursus ini.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.