Programma Les 46 van 156 · Bouw een blocker
Bouw een blocker

Hoe blocklists werken

Waarom dit ertoe doet De meeste trackerblokkering in de wereld vandaag, in extensies en in browsers, begint met een tekstbestand van regels. Zodra je dat bestand kunt lezen, kun je precies zien wat een blocker wel en niet stopt, en waarom een site soms kapot gaat.

A bouncer met een list

Stel je een uitsmijter voor bij de deur van een club die een geprinte lijst vasthoudt: "laat deze mensen niet binnen", plus een korte notitie: "behalve deze vaste gasten". De uitsmijter beoordeelt niemand; ze controleren alleen namen tegen de lijst.

Een

A blocker werkt op dezelfde manier. Elke keer als een pagina om iets vraagt (een script, een afbeelding, een pixel), controleert de blocker het adres tegen zijn lijst en zegt allow of block.

Filter lijst: een tekstbestand met regels, één per regel, dat een blocker vertelt welke verzoeken hij moet stoppen. De best bekende familie is EasyList, geschreven in de Adblock Plus syntax die de meeste blockers begrijpen.

Request: één verzoek van je browser naar een server, zoals "stuur me https://adco.example/tag.js". Eén pagina maakt meestal veel requests.

De syntaxis, een kleine oefenonderdeel

Echte lijsten hebben tienduizenden regels en veel extra functies. We gebruiken een kleine, fictieve oefenlijst met dezelfde kernsyntax. Hier is hij (hij staat in watched.leg2b_blocker.PRACTICE_LIST):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
Line ziet eruit alsBetekenis
! ... of [...] een commentaar of een header. Sla het over.
||adco.example^ domain rule: blokkeer adco.example en elke subdomain, zoals img.adco.example. De ^ markeert het einde van de hostnaam.
/p.gif?A pattern rule: blokkeer elk adres dat deze tekst bevat. Een * binnenin betekent "elke karakters hier".
@@...An exception: sta het toe, zelfs als een blokregel ook overeenkomt.
...$third-partyAn option: pas deze regel alleen toe wanneer de aanvraag naar een andere site gaat dan de pagina waar je op bent.
##.ad-bannerA cosmetic rule: verberg een deel van de pagina. Het stopt nooit een request, dus een netwerkblokkeerder slaat het over.

Derde partij: een verzoek naar een andere site dan die in je adresbalk. Op shopa.example is een verzoek naar adco.example een derde partij; een verzoek naar shopa.example zelf is een eerste partij.

Een regel omzetten naar data

Programs willen de tekst niet voor elke aanvraag opnieuw lezen. De eerste taak is dus parsing: elke regel één keer omzetten naar een kleine dictionary bij het opstarten.

Parsing: tekst lezen en omzetten naar gestructureerde data die een programma direct kan gebruiken, zoals een geschreven boodschappenlijst veranderen in aangevinkte vakjes op een formulier.

Onze rule dict heeft vier keys:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

Twee Python string tools doen het meeste werk. line.startswith("@@") controleert hoe een regel begint. line.rsplit("$", 1) splitst één keer bij de last $, wat de regeltekst en de opties geeft, dus "a$b".rsplit("$", 1) is ["a", "b"].

A veelvoorkomende misvatting

"Blocklists blokkeren advertenties." Velen doen dat, maar de lijsten die ertoe doen voor privacy (zoals EasyPrivacy) richten zich op trackers: pixels, beacons en analytics scripts, die je nooit op het scherm ziet. Een pagina kan helemaal geen advertenties tonen en toch je bezoek naar vijf bedrijven sturen.

Probeer het Open in een desktopbrowser met een blocker extensie de instellingen van de extensie en zoek de filterlijsten. De meeste laten je een lijst bekijken als platte tekst. Zoek naar regels die beginnen met || en @@: dit zijn precies de regels die je gaat parsen.

In andere talen

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

Samenvatting

    De
  • A filter lijst is platte tekst: domeinregels (||host^), patroonregels, uitzonderingen (@@) en opties ($third-party).
  • Cosmetische regels (##) verbergen delen van de pagina en stoppen een verzoek nooit.
  • Parse één keer naar simpele dictionaries zodat het matchen later snel en duidelijk is.
Jij bent aan de beurt

Schrijf parse_rule(line) dat None teruggeeft voor lege, commentaar (!), header ([) en cosmetische (## of #@#) regels, en anders een dict met keys exception, kind ("domain" of "pattern"), value (kleine letters, zonder ||, de laatste ^, @@ of de $options) en third_party. Schrijf dan parse_list(text) dat de lijst met regels voor elke regel teruggeeft, in volgorde, waarbij de None resultaten worden weggelaten. Importeer de parser van de cursus niet.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.