课程大纲 第 46 课,共 156 课 · 构建一个拦截器
构建一个拦截器

拦截列表是怎样工作的

为什么重要 如今世界上大多数的跟踪器拦截,无论是在扩展程序里还是在浏览器里,都是从一个纯文本的规则文件开始的。一旦你能读懂这个文件,你就能准确地看出一个拦截器会阻止什么、不会阻止什么,以及为什么一个网站有时会坏掉。

拿着名单的保安

想象俱乐部门口的一位保安,手里拿着一份打印出来的名单:“不要让这些人进来”,外加一张简短的便条:“这些常客除外”。保安不评判任何人;他们只是对照名单核对名字。

拦截器也是这样工作的。每当一个页面请求某样东西(一个脚本、一张图片、一个像素)时,拦截器都会对照它的列表检查这个地址,然后说允许或拦截。

过滤列表:一个由规则组成的文本文件,每行一条,告诉拦截器要阻止哪些请求。最著名的家族是 EasyList,它使用大多数拦截器都能理解的 Adblock Plus 语法编写。

请求:你的浏览器向一台服务器提出的一次索要,比如“把 https://adco.example/tag.js 发给我”。一个页面通常会发出许多请求。

语法,一个小小的练习子集

真实的列表有成千上万行,还有许多额外的功能。我们使用一份编造的小型练习列表,它的核心语法是一样的。它就在这里(位于 watched.leg2b_blocker.PRACTICE_LIST):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
这一行看起来像含义
! ... 或 [...]一条注释或一个标题。跳过它。
||adco.example^一条域名规则:拦截 adco.example 以及它的每一个子域名,比如 img.adco.example。^ 标志着主机名的结束。
/p.gif?一条模式规则:拦截任何包含这段文本的地址。里面的 * 表示“这里可以是任何字符”。
@@...一条例外:允许它,即使一条拦截规则也匹配。
...$third-party一个选项:只有当请求发往的站点和你所在的页面不同时,才应用这条规则。
##.ad-banner一条外观规则:隐藏页面的一部分。它从不阻止请求,所以网络拦截器会跳过它。

第三方:发往和你地址栏里的站点不同的另一个站点的请求。在 shopa.example 上,发往 adco.example 的请求是第三方的;发往 shopa.example 本身的则是第一方的。

把一行变成数据

程序不希望为每一个请求都重新读一遍文本。所以第一项工作是解析:在启动时一次性地把每一行都变成一个小字典。

解析:读取文本,并把它变成程序可以直接使用的结构化数据,就像把一张手写的购物清单变成一张表格上打好勾的方框。

我们的规则字典有四个键:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

两个 Python 字符串工具完成了大部分工作。line.startswith("@@") 检查一行是怎样开头的。line.rsplit("$", 1) 在最后一个 $ 处切分一次,得到规则文本和选项,所以 "a$b".rsplit("$", 1) 是 ["a", "b"]。

一个常见的误解

“拦截列表拦截的是广告。”许多列表确实如此,但对隐私重要的那些列表(比如 EasyPrivacy)针对的是跟踪器:像素、信标和分析脚本,这些你在屏幕上永远看不到。一个页面可以完全不显示广告,却仍然把你的访问发给五家公司。

试一试 在一个装了拦截扩展程序的桌面浏览器里,打开这个扩展程序的设置,找到它的过滤列表。大多数都允许你以纯文本形式查看一份列表。找一找以 || 和 @@ 开头的行:它们正是你将要解析的那些规则。

用其他语言实现

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

回顾

  • 过滤列表是纯文本:域名规则(||host^)、模式规则、例外(@@)以及选项($third-party)。
  • 外观规则(##)会隐藏页面的一部分,从不阻止请求。
  • 一次性地解析成简单的字典,这样之后的匹配就既快又清楚。
轮到你了

编写 parse_rule(line),对于空行、注释(!)、标题([)和外观(## 或 #@#)行返回 None,否则返回一个字典,键为 exception、kind("domain" 或 "pattern")、value(小写,不带 ||、末尾的 ^、@@ 或 $options)以及 third_party。然后编写 parse_list(text),按顺序返回每一行的规则组成的列表,去掉 None 的结果。不要导入课程自己的解析器。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。