Müfredat 156 dersinden 46. · Bir engelleyici oluştur
Bir engelleyici oluştur

Blok listelerinin nasıl çalıştığı

Neden önemli Bugün dünyadaki çoğu tracker engelleme işlemi, uzantılarda ve tarayıcılarda, düz metin bir kurallar dosyasıyla başlar. Bu dosyayı okuyabildiğinde, bir engelleyicinin tam olarak neyi durduracağını ve neyi durdurmayacağını, ayrıca bir sitenin neden bazen bozulduğunu görebilirsin.

A bir listesi olan bouncer

Bir kulüp kapısında elinde "bu kişileri içeri alma" yazılı bir liste ve "bunlar hariç" notu tutan bir koruma hayal et. Koruma kimseyi yargılamaz; sadece isimleri listedekiyle karşılaştırır.

A blocker aynı şekilde çalışır. Her sayfa bir şey istediğinde (bir script, bir görsel, bir pixel), blocker adresi listesiyle karşılaştırır ve allow veya block der.

Filtre listesi: bir engelleyiciye hangi istekleri durduracağını söyleyen, her satırda bir kural bulunan bir metin dosyasıdır. En bilinen aile, çoğu engelleyicinin anladığı Adblock Plus sözdizimiyle yazılmış olan EasyList'tir.

Request: tarayıcından bir sunucuya gönderdiğin bir istek, örneğin "bana https://adco.example/tag.js gönder". Bir sayfa genellikle birçok istek yapar.

Sözdizimi, küçük bir uygulama alt kümesi

Gerçek listelerin on binlerce satırı ve birçok ekstra özelliği vardır. Biz aynı temel sözdizimine sahip, küçük ve uydurma bir pratik listesi kullanıyoruz. İşte burada (watched.leg2b_blocker.PRACTICE_LIST içinde bulunuyor):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
satırı şuna benziyorAnlamı
! ... veya [...] bir yorum veya başlık. Onu atla.
||adco.example^A domain rule: adco.example ve img.adco.example gibi her alt alan adını engelle. ^, ana makine adının sonunu işaretler.
/p.gif?A pattern rule: bu metni içeren her adresi engelle. İçindeki * "burada herhangi bir karakter" anlamına gelir.
@@...An exception: bir blok kuralı da eşleşse bile buna izin ver.
...$third-partyAn option: bu kuralı sadece istek bulunduğun sayfadan farklı bir siteye gittiğinde uygula.
##.ad-bannerA cosmetic rule: sayfanın bir kısmını gizler. Bir isteği asla durdurmaz, bu yüzden ağ engelleyici bunu atlar.

Üçüncü taraf: adres çubuğundaki siteden farklı bir siteye yapılan istek. shopa.example üzerinde, adco.example için yapılan bir istek üçüncü taraftır; shopa.example kendisine yapılan bir istek ise birinci taraftır.

Bir satırı veriye dönüştürme

Programlar her istek için metni tekrar okumak istemez. Bu yüzden ilk iş parsing: her satırı başlangıçta bir kez küçük bir dict haline getirmektir.

Parsing: metni okumak ve bir programın doğrudan kullanabileceği yapılandırılmış veriye dönüştürmek, yani yazılı bir alışveriş listesini bir form üzerindeki işaretli kutucuklara dönüştürmek gibi.

Kural sözlüğümüzün dört anahtarı var:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

İki Python string aracı işin çoğunu yapar. line.startswith("@@") bir satırın nasıl başladığını kontrol eder. line.rsplit("$", 1) last $ kısmından bir kez böler, böylece kural metnini ve seçenekleri verir, bu yüzden "a$b".rsplit("$", 1) ["a", "b"].

Yaygın bir yanılgı

"Blocklistler reklamları engeller." Çoğu engeller ama gizlilik için önemli olan listeler (EasyPrivacy gibi) takipçileri hedefler: ekranda asla görmediğin pikseller, beaconlar ve analiz scriptleri. Bir sayfa hiç reklam göstermeyebilir ve yine de ziyaretini beş şirkete gönderebilir.

Kendin dene Yüklü bir engelleyici eklentisi olan masaüstü tarayıcısında, eklentinin ayarlarını aç ve filtre listelerini bul. Çoğu sana bir listeyi düz metin olarak görüntüleme imkanı verir. || ve @@ ile başlayan satırları ara: bunlar tam olarak ayrıştıracağın kurallardır.

Diğer dillerde

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

Özet

  • A filtre listesi düz metindir: alan kuralları (||host^), desen kuralları, istisnalar (@@) ve seçenekler ($third-party).
  • Cosmetic kurallar (##) sayfa parçalarını gizler ve asla bir isteği durdurmaz.
  • Sonraki eşleştirme hızlı ve net olsun diye bir kez basit dictlere ayır.
Senin sıran

Boş, yorum (!), başlık ([) ve kozmetik (## veya #@#) satırları için None döndüren parse_rule(line) yaz. Diğer durumlarda exception, kind ("domain" veya "pattern"), value (küçük harf, || olmadan, sondaki ^, @@ veya $options olmadan) ve third_party anahtarlarına sahip bir dict döndür. Sonra None sonuçlarını hariç tutarak her satır için kuralların listesini sırasıyla döndüren parse_list(text) yaz. Kursun kendi parser'ını içe aktarma.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.