シラバス レッスン 156 中 46 · ブロッカーを作る
ブロッカーを作る

ブロックリストの仕組み

なぜ大切か 今日の世界のトラッカーのブロックのほとんどは、拡張機能でもブラウザでも、規則を書いたただのテキストのファイルから始まります。そのファイルを読めるようになれば、ブロッカーが何を止め、何を止めないのか、そしてサイトがときどき壊れる理由が正確にわかります。

一覧を持った用心棒

クラブの扉で、印刷した一覧を持った用心棒を思い浮かべてください。「この人たちは入れないこと」、そして短いメモ「ただしこの常連は除く」。用心棒は誰も判断しません。名前を一覧と照らし合わせるだけです。

ブロッカーも同じように働きます。ページが何か(スクリプト、画像、ピクセル)を求めるたびに、ブロッカーはアドレスを一覧と照らし合わせ、許可 か ブロック かを言います。

フィルターの一覧:1 行にひとつの規則を書いた、どのリクエストを止めるかをブロッカーに伝えるテキストのファイルです。最もよく知られた系統は EasyList で、ほとんどのブロッカーが理解する Adblock Plus の書き方で書かれています。

リクエスト:「https://adco.example/tag.js を送って」のような、ブラウザからサーバーへの依頼ひとつです。ひとつのページはふつう多くのリクエストをします。

書き方、練習用の小さな一部分

本物の一覧には何万もの行と多くの追加の機能があります。ここでは、同じ中核の書き方を持つ、でっち上げの小さな練習用の一覧を使います。それがこれです(watched.leg2b_blocker.PRACTICE_LIST にあります):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
行の見た目意味
! ... か [...]コメントか見出し。飛ばす。
||adco.example^ドメインの規則:adco.example と、img.adco.example のようなすべてのサブドメインをブロックする。^ はホスト名の終わりを示す。
/p.gif?パターンの規則:このテキストを含むどんなアドレスもブロックする。中の * は「ここに任意の文字」という意味。
@@...例外:ブロックの規則も一致していても、許可する。
...$third-partyオプション:リクエストが今いるページとは違うサイトへ行くときだけ、この規則を当てはめる。
##.ad-banner見た目の規則:ページの一部を隠す。決してリクエストを止めないので、ネットワークのブロッカーは飛ばす。

サードパーティ:アドレスバーのものとは違うサイトへのリクエストです。shopa.example の上で、adco.example へのリクエストはサードパーティで、shopa.example そのものへのものはファーストパーティです。

行をデータに変える

プログラムは、リクエストのたびにテキストを読み直したくありません。だから最初の仕事は 解析 です。起動のときに一度だけ、各行を小さな辞書に変えます。

解析:テキストを読み、プログラムが直接使える構造化されたデータに変えることです。手書きの買い物の一覧を、書類の印の付いた欄に変えるようなものです。

規則の辞書には 4 つのキーがあります:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

Python の 2 つの文字列の道具が、仕事のほとんどをこなします。line.startswith("@@") は行がどう始まるかを確かめます。line.rsplit("$", 1) は 最後の $ で一度だけ分割し、規則のテキストとオプションを返すので、"a$b".rsplit("$", 1) は ["a", "b"] です。

よくある誤解

「ブロックリストは広告をブロックする」。多くはそうですが、プライバシーにとって大事な一覧(EasyPrivacy など)が狙うのは、画面では決して見えない、ピクセル、ビーコン、アクセス解析のスクリプトといったトラッカーです。ページが広告をひとつも表示しなくても、訪問を 5 つの会社に送っていることがあります。

試してみよう ブロッカーの拡張機能を入れたデスクトップのブラウザで、拡張機能の設定を開き、そのフィルターの一覧を見つけてください。ほとんどは一覧をただのテキストとして見られます。|| と @@ で始まる行を探してください。それこそが、これから解析する規則です。

ほかの言語では

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

まとめ

  • フィルターの一覧はただのテキストです。ドメインの規則(||host^)、パターンの規則、例外(@@)、オプション($third-party)。
  • 見た目の規則(##)はページの一部を隠し、決してリクエストを止めません。
  • 一度だけ単純な辞書に解析すれば、後の照合が速くわかりやすくなります。
あなたの番

空の行、コメント(!)、見出し([)、見た目(## か #@#)の行には None を返し、それ以外ではキー exception、kind("domain" か "pattern")、value(小文字で、||、末尾の ^、@@、$options を除いたもの)、third_party を持つ辞書を返す parse_rule(line) を書いてください。次に、すべての行について規則のリストを順に返し、None の結果は除く parse_list(text) を書きます。コース自身の解析器は読み込まないでください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。