Hoe blocklists werken
Waarom dit ertoe doet De meeste trackerblokkering in de wereld vandaag, in extensies en in browsers, begint met een tekstbestand van regels. Zodra je dat bestand kunt lezen, kun je precies zien wat een blocker wel en niet stopt, en waarom een site soms kapot gaat.
A bouncer met een list
Stel je een uitsmijter voor bij de deur van een club die een geprinte lijst vasthoudt: "laat deze mensen niet binnen", plus een korte notitie: "behalve deze vaste gasten". De uitsmijter beoordeelt niemand; ze controleren alleen namen tegen de lijst.
EenA blocker werkt op dezelfde manier. Elke keer als een pagina om iets vraagt (een script, een afbeelding, een pixel), controleert de blocker het adres tegen zijn lijst en zegt allow of block.
Filter lijst: een tekstbestand met regels, één per regel, dat een blocker vertelt welke verzoeken hij moet stoppen. De best bekende familie is EasyList, geschreven in de Adblock Plus syntax die de meeste blockers begrijpen.
Request: één verzoek van je browser naar een server, zoals "stuur me https://adco.example/tag.js". Eén pagina maakt meestal veel requests.
De syntaxis, een kleine oefenonderdeel
Echte lijsten hebben tienduizenden regels en veel extra functies. We gebruiken een kleine, fictieve oefenlijst met dezelfde kernsyntax. Hier is hij (hij staat in watched.leg2b_blocker.PRACTICE_LIST):
[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)
||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party
! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?
! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored| Line ziet eruit als | Betekenis |
|---|---|
! ... of [...] | een commentaar of een header. Sla het over. |
||adco.example^ | domain rule: blokkeer adco.example en elke subdomain, zoals img.adco.example. De ^ markeert het einde van de hostnaam. |
/p.gif? | A pattern rule: blokkeer elk adres dat deze tekst bevat. Een * binnenin betekent "elke karakters hier". |
@@... | An exception: sta het toe, zelfs als een blokregel ook overeenkomt. |
...$third-party | An option: pas deze regel alleen toe wanneer de aanvraag naar een andere site gaat dan de pagina waar je op bent. |
##.ad-banner | A cosmetic rule: verberg een deel van de pagina. Het stopt nooit een request, dus een netwerkblokkeerder slaat het over. |
Derde partij: een verzoek naar een andere site dan die in je adresbalk. Op shopa.example is een verzoek naar adco.example een derde partij; een verzoek naar shopa.example zelf is een eerste partij.
Een regel omzetten naar data
Programs willen de tekst niet voor elke aanvraag opnieuw lezen. De eerste taak is dus parsing: elke regel één keer omzetten naar een kleine dictionary bij het opstarten.
Parsing: tekst lezen en omzetten naar gestructureerde data die een programma direct kan gebruiken, zoals een geschreven boodschappenlijst veranderen in aangevinkte vakjes op een formulier.
Onze rule dict heeft vier keys:
parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
# 'value': 'metrics.example', 'third_party': True}
parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
# 'value': '/assets/p.gif?', 'third_party': False}
parse_rule("! just a comment")
# NoneTwee Python string tools doen het meeste werk. line.startswith("@@") controleert hoe een regel begint. line.rsplit("$", 1) splitst één keer bij de last $, wat de regeltekst en de opties geeft, dus "a$b".rsplit("$", 1) is ["a", "b"].
A veelvoorkomende misvatting
"Blocklists blokkeren advertenties." Velen doen dat, maar de lijsten die ertoe doen voor privacy (zoals EasyPrivacy) richten zich op trackers: pixels, beacons en analytics scripts, die je nooit op het scherm ziet. Een pagina kan helemaal geen advertenties tonen en toch je bezoek naar vijf bedrijven sturen.
Probeer het Open in een desktopbrowser met een blocker extensie de instellingen van de extensie en zoek de filterlijsten. De meeste laten je een lijst bekijken als platte tekst. Zoek naar regels die beginnen met || en @@: dit zijn precies de regels die je gaat parsen.
In andere talen
JavaScript:
function parseRule(line) {
line = line.trim();
if (!line || line.startsWith("!") || line.startsWith("[")) return null;
if (line.includes("##") || line.includes("#@#")) return null;
const exception = line.startsWith("@@");
if (exception) line = line.slice(2);
let thirdParty = false;
const at = line.lastIndexOf("$");
if (at >= 0) {
thirdParty = line.slice(at + 1).split(",").includes("third-party");
line = line.slice(0, at);
}
const isDomain = line.startsWith("||");
const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
return { exception, kind: isDomain ? "domain" : "pattern",
value: value.toLowerCase(), thirdParty };
}Rust:
struct Rule { exception: bool, domain: bool, value: String, third_party: bool }
fn parse_rule(line: &str) -> Option<Rule> {
let mut l = line.trim();
if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
return None;
}
let exception = l.starts_with("@@");
if exception { l = &l[2..]; }
let mut third_party = false;
if let Some((rule, opts)) = l.rsplit_once('$') {
third_party = opts.split(',').any(|o| o == "third-party");
l = rule;
}
let domain = l.starts_with("||");
let v = if domain { l[2..].trim_end_matches('^') } else { l };
Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}Samenvatting
- De
- A filter lijst is platte tekst: domeinregels (
||host^), patroonregels, uitzonderingen (@@) en opties ($third-party). - Cosmetische regels (
##) verbergen delen van de pagina en stoppen een verzoek nooit. - Parse één keer naar simpele dictionaries zodat het matchen later snel en duidelijk is.
Schrijf parse_rule(line) dat None teruggeeft voor lege, commentaar (!), header ([) en cosmetische (## of #@#) regels, en anders een dict met keys exception, kind ("domain" of "pattern"), value (kleine letters, zonder ||, de laatste ^, @@ of de $options) en third_party. Schrijf dan parse_list(text) dat de lijst met regels voor elke regel teruggeeft, in volgorde, waarbij de None resultaten worden weggelaten. Importeer de parser van de cursus niet.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.